AutoDAN
AutoDAN erzeugt mit einem genetischen Algorithmus Jailbreak-Prompts, die sprachlich unauffällig bleiben. Gerade diese Lesbarkeit macht sie für Perplexitäts-Filter deutlich schwerer erkennbar als GCG-Suffixe.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind GCG-Suffix, Perplexitäts-Filter, Jailbreak.
Bezug zu Prompt Injection
AutoDAN markiert den Übergang von auffälligen zu unauffälligen automatisierten Angriffen — genau die Eigenschaft, die perplexitätsbasierte Erkennung entwertet. Für Betreiber heißt das, dass Eingabefilter allein keine belastbare Grenze bilden und semantische Prüfung oder Architekturmaßnahmen hinzukommen müssen. Das Verfahren ist zugleich für das eigene Red Teaming nutzbar, weil es Testfälle ohne Handarbeit erzeugt. Für die Bewertung eines Guardrails ist die Unterscheidung damit zentral: Ein Filter, der nur GCG-artige Eingaben abweist, ist gegen die praktisch häufigere Klasse blind.
Beispiel
Ein automatisch erzeugter Jailbreak-Prompt liest sich wie eine gewöhnliche, höflich formulierte Bitte und passiert deshalb Filter, die auf Auffälligkeit prüfen.
Wo der Begriff auftaucht
- GCG-Suffix-Angriff — Gradientenbasiertes Verfahren, das automatisch eine scheinbar sinnlose Zeichenkette berechnet, die an beliebige Anfragen angehängt die Verweigerung…
- AutoDAN — Verfahren, das mit einem genetischen Algorithmus Jailbreak-Prompts erzeugt, die im Gegensatz zu GCG-Suffixen sprachlich unauffällig und damit für…
- PAIR (iterative Prompt-Verfeinerung) — Ein angreifendes Sprachmodell verfeinert seinen Prompt anhand der Antworten des Zielmodells — die Autoren berichten Jailbreaks häufig in unter…
Verwandte Begriffe
- GCG-Suffix — Ein GCG-Suffix ist eine automatisch berechnete, meist sinnlos wirkende Zeichenfolge, die an eine Anfrage angehängt deren…
- Perplexitäts-Filter — Ein Perplexitäts-Filter verwirft Eingaben, deren statistische Unwahrscheinlichkeit auf maschinell optimierten Text hindeutet. Er…
- Jailbreak — Ein Jailbreak ist der Versuch, die Sicherheitsregeln eines Modells auszuhebeln, damit es Inhalte erzeugt, die es normalerweise…
Quellen
- AutoDAN — Beleg: https://arxiv.org/abs/2310.04451