Benchmark
Ein Sicherheits-Benchmark misst die Widerstandsfähigkeit eines Systems anhand eines festgelegten Angriffs- und Aufgabensatzes. Für Agenten gehören AgentDojo und InjecAgent zu den etablierten Referenzen.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Angriffserfolgsquote (ASR), Red Teaming, KI-Agent.
Bezug zu Prompt Injection
Benchmarks machen Sicherheitsaussagen vergleichbar, messen aber immer nur den abgedeckten Angriffsraum — ein guter Wert bedeutet Widerstandsfähigkeit gegen bekannte Verfahren, nicht Sicherheit. Weil neue Angriffstechniken schneller entstehen, als Benchmarks aktualisiert werden, altern die Ergebnisse. Sinnvoll ist der Einsatz als Regressionstest: gleicher Testsatz, wiederholte Messung über Modell- und Promptversionen hinweg. Wichtig ist außerdem, Benchmark-Werte nicht als Marketingaussage zu übernehmen — Testsatz, Modellversion und Bewertungskriterium gehören zu jeder Zahl dazu.
Beispiel
Eine Anwendung schneidet nach dem Modellwechsel schlechter ab als zuvor — der absolute Wert ist zweitrangig, der Rückgang ist das Signal.
Verwandte Begriffe
- Angriffserfolgsquote (ASR) — Die Angriffserfolgsquote gibt an, welcher Anteil der Angriffsversuche das gewünschte Ergebnis erzielt. Sie ist die zentrale…
- Red Teaming — Red Teaming ist das systematische Angreifen des eigenen Systems, um Schwachstellen vor Dritten zu finden. Bei KI-Systemen…
- KI-Agent — Ein KI-Agent ist ein System, das ein Sprachmodell mit Werkzeugen und einer Handlungsschleife verbindet, um Aufgaben eigenständig…
Quellen
- Benchmark — Beleg: https://arxiv.org/abs/2406.13352