Angriffsvektor KI-Agenten und autonome Systeme
Ein KI-Agent liest fremde Inhalte und darf zugleich handeln: senden, schreiben, bezahlen, ausführen. Damit wird aus einer eingeschleusten Anweisung nicht nur eine falsche Antwort, sondern eine ausgeführte Aktion — mit den Rechten des Nutzers, in dessen Auftrag der Agent arbeitet.
Agenten sind der Punkt, an dem Prompt Injection vom Ausgabeproblem zum Sicherheitsproblem wird. OWASP führt die Ursache als eigenes Risiko: übermäßige Handlungsvollmacht (LLM06). Der Angriff selbst bleibt eine indirekte Injektion.
Der verwirrte Stellvertreter
Ein Agent handelt mit den Rechten seines Nutzers, folgt aber der Absicht dessen, der den gelesenen Inhalt kontrolliert. Dieses Muster ist als verwirrter Stellvertreter seit Jahrzehnten bekannt — neu ist nur, dass die Verwirrung über natürliche Sprache ausgelöst wird und deshalb nicht abschließend filterbar ist.
Die Wirkung skaliert mit drei Faktoren: der Zahl angebundener Werkzeuge, der Reichweite ihrer Rechte und dem Grad der Autonomie. Ein Agent ohne Bestätigungsschritt führt den Angriff vollständig aus, bevor jemand ihn bemerkt.
In Multi-Agenten-Systemen kommt die Weitergabe hinzu: Eine Anweisung, die ein Agent als Ergebnis an den nächsten reicht, wandert durch das System weiter — untersucht unter dem Begriff Prompt-Infektion.
Was wirksam hilft
- Least Privilege je Werkzeug: Ein Agent bekommt nur die Rechte, die seine konkrete Aufgabe braucht.
- Menschliche Freigabe für alles, was Geld, Daten oder Außenwirkung berührt.
- Die tödliche Trias vermeiden: private Daten, Fremdinhalte und ein Kanal nach außen nie gleichzeitig.
- Werkzeugkatalog pro Aufgabe zuschneiden statt global bereitstellen.
- Handlungen protokollieren und begrenzen — Ratenlimits und Budgets wirken auch gegen fremdgesteuerte Läufe.
Techniken aus dem Verzeichnis
Diese Einträge aus dem Techniken-Verzeichnis gehören unmittelbar zu diesem Thema — jeder mit Funktionsweise, Risiko-Einstufung, Schutzmaßnahmen und Primärquelle.
-
Tool-Poisoning (MCP)
Die Beschreibung eines Werkzeugs — etwa eines MCP-Servers — enthält versteckte Anweisungen. Der Agent liest sie beim Auflisten der verfügbaren Tools, noch bevor er das Werkzeug überhaupt aufruft.
Risiko hoch -
Prompt-Infektion in Multi-Agenten-Systemen
Eine Injektion, die sich selbst weitergibt: Ein kompromittierter Agent reicht die Anweisung samt Vervielfältigungsauftrag an die nächsten Agenten weiter — wurmartige Ausbreitung im Verbund.
Risiko hoch -
Verwirrter Stellvertreter
Der Agent handelt mit den Rechten des Nutzers, folgt aber der Absicht eines Angreifers — er wird zum Stellvertreter, der seine Berechtigungen fremdgesteuert einsetzt.
Risiko hoch -
Werkzeug-Missbrauch durch Injektion
Die eingeschleuste Anweisung veranlasst den Agenten, seine angebundenen Werkzeuge zweckwidrig einzusetzen — Mails versenden, Dateien schreiben, Käufe auslösen, Code ausführen.
Risiko hoch -
Zero-Click-Injektion
Angriffsklasse, die ganz ohne Zutun des Opfers auskommt: Das Zustellen eines Inhalts in ein vom Assistenten durchsuchtes System genügt, um Injektion und Datenabfluss auszulösen.
Risiko hoch -
Code-Injektion über LLM-Ausgaben
Die Ausgabe des Modells wird ungeprüft weiterverarbeitet — als HTML gerendert, als SQL abgesetzt, als Shell-Befehl ausgeführt. Eine Injektion wird damit zu klassischer Codeausführung.
Risiko hoch
Passende Werkzeuge
-
AgentDojo
Dynamische Testumgebung, die Agenten mit realistischen Aufgaben und eingebetteten Injektionen konfrontiert und Nützlichkeit gegen Sicherheit misst. Gemessen werden Nützlichkeit und Sicherheit gemeinsam, weil eine Abwehr wertlos ist, die den Agenten für seine eigentliche Aufgabe unbrauchbar macht.
Open Source -
InjecAgent
Benchmark für indirekte Prompt Injection in werkzeugnutzenden Agenten, unterteilt in Angriffe auf Nutzerdaten und auf Nutzeraktionen. Die Unterteilung macht sichtbar, ob ein Angriff lediglich Daten abgreift oder den Agenten zu eigenen, folgenreichen Handlungen bringt.
Open Source -
mcp-scan
Prüfwerkzeug für MCP-Server, das Tool-Beschreibungen auf versteckte Anweisungen, Tool-Poisoning und nachträgliche Änderungen untersucht. Es vergleicht Tool-Beschreibungen zusätzlich gegen einen festgehaltenen Stand und meldet nachträgliche Änderungen, mit denen ein zunächst harmloser Server später Anweisungen nachschiebt.
Open Source -
LlamaFirewall
Guardrail-System für Agenten, das Eingaben, Zwischenschritte der Modell-Argumentation und erzeugten Code prüft, bevor eine riskante Aktion ausgeführt wird. Die Prüfung der Zwischenschritte zielt auf genau die Lücke, die reine Ein- und Ausgabefilter offenlassen: die Entscheidung des Agenten zwischen Eingabe und Aktion.
Open Source
Einordnung in die OWASP LLM Top 10
-
LLM06: Übermäßige Handlungsvollmacht
Das System darf mehr, als es für seine Aufgabe müsste — zu viele Werkzeuge, zu weite Rechte, zu viel Autonomie ohne menschliche Kontrolle.
-
LLM01: Prompt Injection
Eingaben verändern das Verhalten des Modells auf eine vom Betreiber nicht vorgesehene Weise — unabhängig davon, ob der Text für Menschen sichtbar ist oder nicht.
Häufige Fragen
Warum ist Prompt Injection bei Agenten gefährlicher?
Weil der Agent nicht nur antwortet, sondern handelt. Eine eingeschleuste Anweisung führt dann zu tatsächlichen Aktionen mit den Rechten des Nutzers — etwa dem Versand von Daten oder der Ausführung von Code.
Was ist die wirksamste Einzelmaßnahme?
Die Begrenzung der Rechte. Eine Aktion, die der Agent nicht ausführen darf, kann auch eine erfolgreiche Injektion nicht auslösen. Alles Weitere — Filter, Klassifikatoren, Prompts — senkt nur die Wahrscheinlichkeit.
Quellen
- OWASP GenAI Security Project: LLM06:2025 Excessive Agency: https://genai.owasp.org/llmrisk/llm062025-excessive-agency/
- AgentDojo: A Dynamic Environment to Evaluate Attacks and Defenses for LLM Agents: https://github.com/ethz-spylab/agentdojo
- Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems (arXiv:2410.07283): https://arxiv.org/abs/2410.07283