LLM-Check updaten

Ich möchte die Funktion is_model_available erweitern, da Modelle nicht direkt geprüft werden, sondern nur die API.

Wenn wir bei openAI-konforme APIs bleiben, kann man nicht nur fragen ob /v1/models eine 200 zurück gibt, sondern auch prüfen, ob das Modell, welches in der YAML steht, auch in diesem Endpoint zurückgegeben wird.

Als Entwickli will ich außerdem in der llm-check-Funktion die Reihenfolge von HEAD und GET tauschen, damit bei OpenAI-konformen APIs nicht zu erst eine fehlerhafte Anfrage rausgeht. Alternativ kann man auch nur auf GET setzen. Dann wäre es auch möglich den Health-Parameter in der YAML zu entfernen und immer /v1/models zu nutzen. Bei einer OpenAI-konformen API muss es diesen Endpoint geben.

Außerdem sollte das Intervall der LLM-Checks per Default auf 2 Minuten liegen und das Loglevel des APSchedulers auf WARNING gestellt werden, um unnötige Logs zu reduzieren.

Akzeptanzkriterien

  • /llms prüft auch, ob gewählte Modelle auch unter /v1/models gelistet sind
  • es wird nur GET genutzt, nicht auch noch HEAD und POST
  • /v1/models ist der Standard-Endpoint; health_check in der YAML ist entfernt
  • LogLevel vom APScheduler ist auf WARNING gesetzt
  • Default-Intervall auf 2 Minuten verlängert
  • README ist angepasst, besonders welche Endpoints erwartet werden
  • Review einer zweiten Person durchgeführt
To upload designs, you'll need to enable LFS and have an admin enable hashed storage. More information