Angriffserfolgsquote (ASR)
Die Angriffserfolgsquote gibt an, welcher Anteil der Angriffsversuche das gewünschte Ergebnis erzielt. Sie ist die zentrale Vergleichsgröße in der Jailbreak-Forschung, hängt aber stark vom verwendeten Testdatensatz ab.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Benchmark, Red Teaming.
Bezug zu Prompt Injection
Weil die Quote vom Testdatensatz, vom Bewertungsverfahren und von der Modellversion abhängt, sind Zahlen aus verschiedenen Studien nicht direkt vergleichbar — dieselbe Technik kann je nach Aufbau sehr unterschiedliche Werte erreichen. Aussagekräftig wird sie erst im Vorher-Nachher-Vergleich am eigenen System mit unverändertem Testsatz. Für Betreiber ist der Verlauf über mehrere Versionen hinweg wichtiger als der absolute Wert einer einzelnen Messung.
Beispiel
Eine Schutzmaßnahme senkt die Erfolgsquote im eigenen Testsatz deutlich — mit einem anderen Testsatz gemessen, wären beide Werte andere.
Verwandte Begriffe
- Benchmark — Ein Sicherheits-Benchmark misst die Widerstandsfähigkeit eines Systems anhand eines festgelegten Angriffs- und Aufgabensatzes…
- Red Teaming — Red Teaming ist das systematische Angreifen des eigenen Systems, um Schwachstellen vor Dritten zu finden. Bei KI-Systemen…
Quellen
- Angriffserfolgsquote (ASR) — Beleg: https://arxiv.org/abs/2402.05668