Jailbreak
Ein Jailbreak ist der Versuch, die Sicherheitsregeln eines Modells auszuhebeln, damit es Inhalte erzeugt, die es normalerweise verweigert. Er zielt auf die Richtlinien des Modellanbieters, während Prompt Injection auf die Anwendungslogik des Betreibers zielt.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Prompt Injection, DAN, Alignment.
Bezug zu Prompt Injection
Die Unterscheidung zu Prompt Injection ist praktisch relevant, weil sie unterschiedliche Verantwortliche adressiert: Gegen Jailbreaks härtet der Modellanbieter, gegen Injektionen muss der Anwendungsbetreiber selbst etwas tun. In realen Angriffen treten beide oft kombiniert auf — ein Jailbreak schaltet die Weigerung ab, die Injektion bestimmt das Ziel. Für Betreiber heißt das: Ein gut ausgerichtetes Modell entbindet nicht von Rechtekontrolle in der eigenen Anwendung.
Beispiel
Ein Modell verweigert eine Auskunft, liefert sie aber, sobald sie als Dialog zweier fiktiver Romanfiguren angefragt wird.
Verwandte Begriffe
- Prompt Injection — Prompt Injection bezeichnet einen Angriff, bei dem eingeschleuster Text das Verhalten eines Sprachmodells entgegen der Absicht…
- DAN — DAN steht für „Do Anything Now" und bezeichnet die bekannteste Familie von Community-Jailbreak-Prompts, die dem Modell eine…
- Alignment — Alignment bezeichnet die Ausrichtung eines Modells auf hilfreiches, ehrliches und unschädliches Verhalten, typischerweise über…
Quellen
- Jailbreak — Beleg: https://arxiv.org/abs/2308.03825