GCG-Suffix
Ein GCG-Suffix ist eine automatisch berechnete, meist sinnlos wirkende Zeichenfolge, die an eine Anfrage angehängt deren Ablehnung aushebelt. Solche Suffixe sind auf andere Modelle übertragbar, lassen sich aber durch Perplexitäts-Filter gut erkennen.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Adversariale Eingabe, Perplexitäts-Filter, AutoDAN.
Bezug zu Prompt Injection
Die Arbeit von Zou und Kollegen (2023) zeigte erstmals, dass sich solche Suffixe an offenen Modellen berechnen lassen und anschließend auch gegen geschlossene Modelle wirken — Geheimhaltung der Gewichte trägt als Schutz also nicht. Praktisch relevant ist diese Übertragbarkeit: Ein an einem frei verfügbaren Modell optimierter Angriff kostet den Angreifer wenig und trifft mehrere Anbieter zugleich. Erkennbar bleiben die Suffixe an ihrer statistischen Auffälligkeit.
Beispiel
An eine normale Frage wird eine zusammenhanglose Zeichenfolge angehängt, worauf das Modell die sonst übliche Ablehnung unterlässt.
Verwandte Begriffe
- Adversariale Eingabe — Eine adversariale Eingabe ist gezielt so konstruiert, dass ein Modell fehlerhaft oder regelwidrig reagiert. Bei Sprachmodellen…
- Perplexitäts-Filter — Ein Perplexitäts-Filter verwirft Eingaben, deren statistische Unwahrscheinlichkeit auf maschinell optimierten Text hindeutet. Er…
- AutoDAN — AutoDAN erzeugt mit einem genetischen Algorithmus Jailbreak-Prompts, die sprachlich unauffällig bleiben. Gerade diese Lesbarkeit…
Quellen
- GCG-Suffix — Beleg: https://arxiv.org/abs/2307.15043