Nutzung von lokalen LLMs erklären

Als Nachnutzende will ich die Dokumentation zur Nutzung von lokalen LLMs verbessern, damit die nötigen Schritte zur Nutzung eines lokalen Modells mit den Microservices einfach nachvollzogen werden können.

Hierfür bietet es sich an vor die Überschrift "Vorbereitung der Konfiguration im F13-Core-Repository" auf der Deplyment Seite der Doku einen weiteren Abscnitt zur Nutzung von F13 mit lokalen Modellen zu ergänzen.

Inhaltlich soll ein Code-Snippet für die docker-compose.yml in der Dokumentation angezeigt und erklärt werden. Hier beispielsweise für das Modell "phi3:latest":

  ollama:
    image: ollama/ollama:0.12.5
    command: serve && ollama run phi3:latest

Alternativ ist es zu Testing-Zwecken möglich in der docker-compose.yml unter den services "summary" bzw. "parser" network_mode: "host" hinzuzufügen. Dieser Ansatz ist empfehlenswert in Situationen in denen Ollama bereits lokal läuft, aber ist es nicht für den Produktiveinsatz gedacht!

DoD

• Ergänzung der Dokumentation
• Review einer zweiten Person durchgeführt