ollama_mock: stream etwas schneller beenden lassen
Als DevOpsi will ich den Stream im /v1/chat/completions-Endpoint beschleunigen, um Tests in der CI zu beschleunigen.
Als Entwickli will ich die Länge der Response und/oder den Sleep zwischen den Chunks verkürzen. Aktuell sind es 103 Wörter (=Chunks) mit je 0.2s Sleep (~20s insgesamt)
Akzeptanzkriterien
-
Stream endet nach max. 5-7s -
Review einer zweiten Person durchgeführt
Edited by Robert Brunngräber