KI-Agenten absichern
Ein Agent ist genau so sicher wie die Menge der Aktionen, die er ohne Rückfrage ausführen darf. Absicherung bedeutet deshalb zuerst Entwurfsarbeit — Werkzeugauswahl, Freigabepunkte, Ausführungsumgebung — und erst danach Filterarbeit.
Die Angriffsseite behandelt Angriffsvektor KI-Agenten; die Ursache liegt in der Natur der Prompt Injection und wird bei OWASP als übermäßige Handlungsvollmacht geführt.
Die sechs Stellschrauben
- Werkzeugauswahl. Nur die Werkzeuge bereitstellen, die die aktuelle Aufgabe braucht.
- Rechte je Werkzeug. Lesend vor schreibend, eng vor breit, kurzlebige Zugangsdaten statt dauerhafter.
- Freigabepunkte. Alles mit Geld-, Daten- oder Außenwirkung braucht eine menschliche Bestätigung.
- Ausführungsumgebung. Generierter Code läuft in einer Sandbox ohne Netz und ohne dauerhafte Geheimnisse.
- Herkunftstrennung. Werkzeug-Rückgaben und abgerufene Inhalte sind Fremddaten, nie Anweisungen.
- Protokoll und Limits. Jeder Aufruf wird protokolliert; Ratenlimits und Budgets begrenzen den Schaden eines fremdgesteuerten Laufs.
Prüfen statt hoffen
Agentische Aufbauten lassen sich testen: AgentDojo und InjecAgent stellen Umgebungen bereit, in denen Angriffe und Verteidigungen gegeneinander gemessen werden. Für MCP-Werkzeugketten prüft mcp-scan die eingebundenen Server.
Sinnvoll ist ein fester Testlauf vor jedem Produktivgang und nach jeder Erweiterung des Werkzeugsatzes — jede neue Integration verschiebt die Angriffsfläche.
Techniken aus dem Verzeichnis
Diese Einträge aus dem Techniken-Verzeichnis gehören unmittelbar zu diesem Thema — jeder mit Funktionsweise, Risiko-Einstufung, Schutzmaßnahmen und Primärquelle.
-
Tool-Poisoning (MCP)
Die Beschreibung eines Werkzeugs — etwa eines MCP-Servers — enthält versteckte Anweisungen. Der Agent liest sie beim Auflisten der verfügbaren Tools, noch bevor er das Werkzeug überhaupt aufruft.
Risiko hoch -
Prompt-Infektion in Multi-Agenten-Systemen
Eine Injektion, die sich selbst weitergibt: Ein kompromittierter Agent reicht die Anweisung samt Vervielfältigungsauftrag an die nächsten Agenten weiter — wurmartige Ausbreitung im Verbund.
Risiko hoch -
Verwirrter Stellvertreter
Der Agent handelt mit den Rechten des Nutzers, folgt aber der Absicht eines Angreifers — er wird zum Stellvertreter, der seine Berechtigungen fremdgesteuert einsetzt.
Risiko hoch -
Werkzeug-Missbrauch durch Injektion
Die eingeschleuste Anweisung veranlasst den Agenten, seine angebundenen Werkzeuge zweckwidrig einzusetzen — Mails versenden, Dateien schreiben, Käufe auslösen, Code ausführen.
Risiko hoch -
Zero-Click-Injektion
Angriffsklasse, die ganz ohne Zutun des Opfers auskommt: Das Zustellen eines Inhalts in ein vom Assistenten durchsuchtes System genügt, um Injektion und Datenabfluss auszulösen.
Risiko hoch -
Code-Injektion über LLM-Ausgaben
Die Ausgabe des Modells wird ungeprüft weiterverarbeitet — als HTML gerendert, als SQL abgesetzt, als Shell-Befehl ausgeführt. Eine Injektion wird damit zu klassischer Codeausführung.
Risiko hoch
Passende Werkzeuge
-
AgentDojo
Dynamische Testumgebung, die Agenten mit realistischen Aufgaben und eingebetteten Injektionen konfrontiert und Nützlichkeit gegen Sicherheit misst. Gemessen werden Nützlichkeit und Sicherheit gemeinsam, weil eine Abwehr wertlos ist, die den Agenten für seine eigentliche Aufgabe unbrauchbar macht.
Open Source -
InjecAgent
Benchmark für indirekte Prompt Injection in werkzeugnutzenden Agenten, unterteilt in Angriffe auf Nutzerdaten und auf Nutzeraktionen. Die Unterteilung macht sichtbar, ob ein Angriff lediglich Daten abgreift oder den Agenten zu eigenen, folgenreichen Handlungen bringt.
Open Source -
mcp-scan
Prüfwerkzeug für MCP-Server, das Tool-Beschreibungen auf versteckte Anweisungen, Tool-Poisoning und nachträgliche Änderungen untersucht. Es vergleicht Tool-Beschreibungen zusätzlich gegen einen festgehaltenen Stand und meldet nachträgliche Änderungen, mit denen ein zunächst harmloser Server später Anweisungen nachschiebt.
Open Source -
LlamaFirewall
Guardrail-System für Agenten, das Eingaben, Zwischenschritte der Modell-Argumentation und erzeugten Code prüft, bevor eine riskante Aktion ausgeführt wird. Die Prüfung der Zwischenschritte zielt auf genau die Lücke, die reine Ein- und Ausgabefilter offenlassen: die Entscheidung des Agenten zwischen Eingabe und Aktion.
Open Source -
PyRIT
Python Risk Identification Toolkit — Automatisierungs-Framework für KI-Red-Teaming mit Orchestratoren für mehrstufige Angriffe wie Crescendo. Es liefert die Automatisierung, nicht das Urteil: Angriffsziele, Bewertungskriterien und Interpretation der Ergebnisse bleiben beim Team.
Open Source -
promptfoo
Test- und Red-Teaming-Werkzeug für Prompts und Modelle mit Plugin-System für Angriffsklassen und CI-Integration. Testfälle werden in YAML beschrieben, wodurch sich Qualitäts- und Sicherheitsprüfungen im selben Lauf abbilden und versionieren lassen.
Open Source
Einordnung in die OWASP LLM Top 10
-
LLM06: Übermäßige Handlungsvollmacht
Das System darf mehr, als es für seine Aufgabe müsste — zu viele Werkzeuge, zu weite Rechte, zu viel Autonomie ohne menschliche Kontrolle.
-
LLM01: Prompt Injection
Eingaben verändern das Verhalten des Modells auf eine vom Betreiber nicht vorgesehene Weise — unabhängig davon, ob der Text für Menschen sichtbar ist oder nicht.
-
LLM05: Unsichere Verarbeitung von Ausgaben
Ausgaben des Modells werden ungeprüft an nachgelagerte Systeme weitergereicht — als HTML gerendert, als Datenbankabfrage abgesetzt oder als Befehl ausgeführt.
Häufige Fragen
Wie sichert man einen KI-Agenten gegen Prompt Injection ab?
Über den Entwurf: minimaler Werkzeugsatz, enge Rechte je Werkzeug, menschliche Freigabe für wirkungsvolle Aktionen, Sandbox für generierten Code, Kennzeichnung aller Fremddaten sowie Protokollierung und Limits.
Womit lässt sich die Absicherung testen?
Mit Benchmark-Umgebungen wie AgentDojo und InjecAgent sowie mit Red-Teaming-Werkzeugen wie PyRIT und promptfoo. Für MCP-Werkzeugketten prüft mcp-scan die eingebundenen Server.
Quellen
- OWASP GenAI Security Project: LLM06:2025 Excessive Agency: https://genai.owasp.org/llmrisk/llm062025-excessive-agency/
- AgentDojo — Benchmark für LLM-Agenten: https://github.com/ethz-spylab/agentdojo
- mcp-scan — Prüfwerkzeug für MCP-Server: https://github.com/invariantlabs-ai/mcp-scan