Streaming Response + Keep-Alive für Summary

Als Dev will ich verhindern, dass Connections vom Frontend zum Summary Service abgebrochen werden, wenn die Bearbeitung der Anfrage lange dauert.

Dazu will ich zwei Methoden verwenden:

  1. die final_summary streamen
  2. bis die finale Summary verfügbar ist, sollen über den geöffneten Stream keep_alive Messages gestreamt werden, damit die Verbindung von den Proxies offen gehalten wird.

Es sind für diese Aufgabe Anpassungen in folgenden Microservices notwendig:

  • Summary: final_summary muss gestreamt werden; bis diese gestreamt werden kann, sollen keep-alive events in regelmäßigen Abständen geschickt werden (ca. alle 20 Sekunden)
  • Core: analog zu Chat muss die StreamingResponse-Logik auch für den Summary-Endpoint verwendet werden
  • Frontend: Analog zu Chat muss die StreamingResponse angezeigt werden

Akzeptanzkriterien

  • Summary streamt sowohl keep-alive events als auch die finale summary
  • core leitet den summary stream weiter
  • Frontend zeigt summary stream an
  • Tests sind angepasst
  • Changelogs sind angepasst
  • Review einer zweiten Person durchgeführt
Edited by Denny Mattern
To upload designs, you'll need to enable LFS and have an admin enable hashed storage. More information