LLM-Empfehlung in Dokumentation ergänzen

Als Entwicklerin will ich die Doku der Summary, um eine LLM-Empfehlung ergänzen, damit Nachnutzende wissen welche LLMs für die Summary bereits getestet wurden und für ihre Anwendungsfälle ein passendes Modell auswählen können.

Textvorschlag:

Welches Sprachmodell wird für die Zusammenfassungsfunktion empfohlen?

Für Anwendungsfälle in denen mehrseitige Zusammenfassungen gewünscht sind empfehlen wir llama 3.3 70b.

Wenn Ihnen weniger Ressourcen zur Verfügung stehen sollten und Ihnen kürzere ein- bis eineinhalb-seitige Zusammenfassungen ausreichen, empfehlen wir gemma 3 27b zu nutzen.

Um ein Reasoning-Modell wie DeepSeek-TNG-R1T2-Chimera 685b mit der Zusammenfassungsfunktion zu verwenden, sind Anpassungen im Code notwendig, um den Denkprozess aus der Antwort zu entfernen. Vorteil dieses Modells ist, dass die Zusammenfassung mit einem Gesamtüberblick des Originaltextes startet und eine hohe Informationsdichte erzielt wird. Allerdings ist mit einer verlängerten Wartezeit (mindestens doppelt so lang verglichen mit llama 3.3) bei der Nutzung der Zusammenfassungsfunktion zu rechnen. Zudem zeigten unsere Tests, dass dieses rechenintensive Modell in wenigen Fällen Zahlen im Text halluziniert oder von seinen Instruktionen abweicht.

Akzeptanzkriterien

• Readme um Inhalte aus dem Textvorschlag ergänzt
• Abschnitt auch in Doku ergänzen
• Review einer zweiten Person durchgeführt