Agentic AI - Ein mögliches Sicherheitsrisiko

Ziel des D-Stack ist die Stärkung der Handlungsfähigkeit des Staates und des Vertrauens in den Staat.

Wir begrüßen in diesem Rahmen ausdrücklich den Ansatz des D-Stack, diesen nicht aus Bestandslösungen zusammenzustellen sondern von Beginn an auf aktuelle technische Entwicklungen einzugehen.

Die Luca-App die ermöglichte Daten ohne sog. Input-Sanitation an Gesundheitsämter zu übertragen und diese damit verwundbar machte [1]. Aufgrund dieser Erfahrungen möchten wir uns den Hinweis erlauben, dass bei der Auswahl von KI Systemen im Allgemeinen und Agentic AI Systemen im Besonderen Fragen der Informationssicherheit bereits bei der Auswahl der Trainingsdaten zu beachten sind.

Ein Beispiel hierfür zeigt die als sog. Google-Bombs [2] bekannte Form des Netzaktivismus auf.

Aktuelle Arbeiten von Anthropic Ai [3] und Bruce Schneier [4] zeigen sowohl die niedrige Verwundbarkeitsschwelle von LLMs [3] sowie die strukturellen Probleme [4] auf. Arbeiten von Clusmann, J., Ferber, D., Wiest, I.C. et al. [5] zeigen die Manipulationsanfälligkeit von KI-Modellen und Arbeiten von Stadler, Oprisanu, Troncoso [6] zeigen weiterhin die Unvereinbarkeit der Nutzung von KI im Kontext personenbeziehbarer Daten.

Entsprechend möchten wir vorschlagen, die Nutzung von KI-Systemen an eine Prüfung und Sicherung der Trainingsdaten zu knüpfen.

[1] https://www.spiegel.de/netzwelt/apps/luca-app-bereitet-hackern-den-weg-in-die-gesundheitsaemter-a-91b792f3-6a8f-472a-a62c-07af7a8d51d9 [2] https://de.wikipedia.org/wiki/Google-Bombe [3] https://www.anthropic.com/research/small-samples-poison [4] https://www.computer.org/csdl/magazine/sp/5555/01/11194053/2aB2Rf5nZ0k [5] Clusmann, J., Ferber, D., Wiest, I.C. et al. Prompt injection attacks on vision language models in oncology. Nat Commun 16, 1239 (2025). https://doi.org/10.1038/s41467-024-55631-x [6] https://arxiv.org/abs/2011.07018