LLM-Check updaten
Ich möchte die Funktion is_model_available erweitern, da Modelle nicht direkt geprüft werden, sondern nur die API.
Wenn wir bei openAI-konforme APIs bleiben, kann man nicht nur fragen ob /v1/models eine 200 zurück gibt, sondern auch prüfen, ob das Modell, welches in der YAML steht, auch in diesem Endpoint zurückgegeben wird.
Als Entwickli will ich außerdem in der llm-check-Funktion die Reihenfolge von HEAD und GET tauschen, damit bei OpenAI-konformen APIs nicht zu erst eine fehlerhafte Anfrage rausgeht. Alternativ kann man auch nur auf GET setzen. Dann wäre es auch möglich den Health-Parameter in der YAML zu entfernen und immer /v1/models zu nutzen. Bei einer OpenAI-konformen API muss es diesen Endpoint geben.
Außerdem sollte das Intervall der LLM-Checks per Default auf 2 Minuten liegen und das Loglevel des APSchedulers auf WARNING gestellt werden, um unnötige Logs zu reduzieren.
Akzeptanzkriterien
-
/llms prüft auch, ob gewählte Modelle auch unter /v1/models gelistet sind -
es wird nur GET genutzt, nicht auch noch HEAD und POST -
/v1/models ist der Standard-Endpoint; health_check in der YAML ist entfernt -
LogLevel vom APScheduler ist auf WARNING gesetzt -
Default-Intervall auf 2 Minuten verlängert -
README ist angepasst, besonders welche Endpoints erwartet werden -
Review einer zweiten Person durchgeführt