Domäne KI, Fehlender Fokus auf Management / Observability (IT-Referat, München)

Der großflächige Betrieb von GenAI-Lösungen erfordert neben den anwendungsspezifischen Libraries und Frameworks zusätzliche geteilte Komponenten. Wir nutzen dabei folgende Lösungen:

• LiteLLM als Proxy/Gateway zu Modellen inkl. Guardrails, Logging und Access Control; nutzt als de-facto Standard die OpenAI-API
• Langfuse als LLM Engineering / Observability-Plattform für Metriken, Traces, Evaluationen und mehr; nutzt als Standard OTEL-Traces zur Übertragung.
• Docling zum Parsen und Auslesen strukturierter Dokumente. Wird durch docling-serve als API für andere Anwendungen bereitgestellt.

Unserer Ansicht nach können Organisationen und auch externe Dienstleister durch diese Plattformen einen großen Mehrwert erhalten und GenAI-Produkte im Betrieb besser einsetzen und überwachen. Eine detaillierte Beschreibung des KI-Stack der LHM findet sich in unserem Blogpost