Crescendo
Crescendo ist ein mehrstufiger Angriff, der harmlos beginnt und sich in kleinen, jeweils plausiblen Schritten zum Ziel steigert. Das Modell bleibt dabei konsistent zu seinem eigenen Gesprächsverlauf statt zu seinen Sicherheitsregeln.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Echo Chamber, Kontextvergiftung, Jailbreak.
Bezug zu Prompt Injection
Microsoft beschrieb Crescendo 2024; die Technik ist schwer zu filtern, weil jeder Einzelschritt für sich zulässig ist und die Eskalation erst aus dem Verlauf entsteht. In Red-Teaming-Werkzeugen wie PyRIT ist sie als Orchestrator implementiert und damit auch für die eigene Prüfung verfügbar. Gegenmaßnahmen setzen an der Verlaufsbewertung an, nicht an der einzelnen Nachricht. Für die eigene Prüfung gehört sie zum Pflichtprogramm, weil sie genau die Anwendungen trifft, die Einzelnachrichten sauber filtern und sich deshalb für sicher halten.
Beispiel
Eine Reihe von Nachfragen zu einem historischen Thema führt in kleinen Schritten zu einer Detailtiefe, die auf direkte Anfrage abgelehnt worden wäre.
Verwandte Begriffe
- Echo Chamber — Echo Chamber ist eine mehrstufige Jailbreak-Technik, die harmlose Anknüpfungspunkte setzt und das Modell die eigenen Aussagen…
- Kontextvergiftung — Bei der Kontextvergiftung wird der Gesprächs- oder Datenkontext schrittweise mit Inhalten angereichert, die spätere Antworten in…
- Jailbreak — Ein Jailbreak ist der Versuch, die Sicherheitsregeln eines Modells auszuhebeln, damit es Inhalte erzeugt, die es normalerweise…
Quellen
- Crescendo — Beleg: https://arxiv.org/abs/2404.01833