StruQ
StruQ ist ein Trainingsverfahren, das mit reservierten Sondertoken eine strukturelle Trennung von Anweisung und Daten erzwingt. Das Modell lernt dabei, Anweisungen im Datenbereich systematisch zu ignorieren.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind SecAlign, Begrenzer (Delimiter), Instruktions-Hierarchie.
Bezug zu Prompt Injection
StruQ gehört mit SecAlign zu den Arbeiten, die Prompt Injection als Trainings- statt als Filterproblem angehen: Die Trennung wird über reservierte Token erzwungen, die aus allen Nutzerdaten gefiltert werden. Der Ansatz setzt voraus, dass ein eigenes Modell feingetunt werden kann, und ist damit für Anwendungen auf fremden APIs nicht unmittelbar verfügbar. Die Autoren berichten eine deutlich gesenkte Erfolgsquote optimierungsfreier Angriffe bei erhaltener Aufgabenqualität.
Beispiel
Anweisungen werden mit einem Sondertoken eingeleitet, das aus allen Nutzer- und Dokumentdaten entfernt wird — im Datenbereich stehende Befehle bleiben dadurch wirkungslos.
Verwandte Begriffe
- SecAlign — SecAlign härtet Modelle über Preference-Optimierung: Trainiert wird auf simulierten Injektionen mit jeweils erwünschter und…
- Begrenzer (Delimiter) — Begrenzer sind Markierungen, die Datenbereiche im Prompt vom Anweisungsbereich abgrenzen. Sie helfen nur, wenn die Zeichen in…
- Instruktions-Hierarchie — Die Instruktions-Hierarchie trainiert ein Modell darauf, Anweisungen nach Vertrauensstufe zu gewichten: System vor Entwickler…
Quellen
- StruQ — Beleg: https://arxiv.org/abs/2402.06363