Multi-Agenten-System
In einem Multi-Agenten-System arbeiten mehrere spezialisierte KI-Agenten zusammen und tauschen Zwischenergebnisse aus. Eine Injektion kann sich darin wurmartig ausbreiten, weil Agenten einander typischerweise mehr vertrauen als externen Quellen.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind KI-Agent, Prompt-Infektion, Vertrauensgrenze.
Bezug zu Prompt Injection
Vertrauen zwischen Agenten ist meist implizit: Die Nachricht eines anderen Agenten wird selten so behandelt wie eine fremde Webseite, obwohl sie deren Inhalt weitergeben kann. So entsteht eine Kette, in der eine einzige kompromittierte Quelle mehrere Rechtebereiche erreicht. Abhilfe schaffen Herkunftskennzeichnung der Nachrichten, getrennte Rechte je Agent und Prüfstellen an den Übergängen. Nützlich ist die Regel, jeder Agent-zu-Agent-Nachricht die Vertrauensstufe ihrer ursprünglichen Quelle zuzuweisen und nicht die des sendenden Agenten.
Beispiel
Ein Rechercheagent gibt einen vergifteten Textausschnitt an einen Agenten mit Schreibrechten weiter, der die enthaltene Anweisung als Auftrag des Kollegen liest.
Verwandte Begriffe
- KI-Agent — Ein KI-Agent ist ein System, das ein Sprachmodell mit Werkzeugen und einer Handlungsschleife verbindet, um Aufgaben eigenständig…
- Prompt-Infektion — Eine Prompt-Infektion ist eine sich selbst weitergebende Injektion, die den empfangenden Agenten anweist, sie an alle weiteren…
- Vertrauensgrenze — Eine Vertrauensgrenze ist die Linie, an der Daten aus einer weniger vertrauenswürdigen Quelle in einen geschützten Bereich…
Quellen
- Multi-Agenten-System — Beleg: https://arxiv.org/abs/2410.07283