Klassifikator
Ein Klassifikator ist ein spezialisiertes Modell, das Eingaben oder Ausgaben in Kategorien einordnet — etwa „Injektionsversuch" oder „unbedenklich". Er ist schnell und kostengünstig, arbeitet aber nie fehlerfrei und muss laufend nachtrainiert werden.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Guardrail, Content-Filter, Constitutional Classifiers.
Bezug zu Prompt Injection
Klassifikatoren sind der übliche erste Baustein einer Guardrail-Schicht, weil sie lokal und in wenigen Millisekunden laufen. Ihre Grenzen sind bekannt: Sie erkennen, was ihren Trainingsdaten ähnelt, und verlieren bei neuen Formulierungen, anderen Sprachen und harmlos klingenden Angriffen. Der Schwellwert ist am Ende ein betrieblicher Kompromiss zwischen übersehenen Angriffen und blockierten Nutzern. Sinnvoll ist deshalb, Treffer zu protokollieren statt sie nur zu blockieren — die Fehlerfälle sind das Material, aus dem die nächste Version des Detektors entsteht.
Beispiel
Ein auf englische Angriffsmuster trainierter Detektor übersieht dieselbe Anweisung auf Deutsch.
Verwandte Begriffe
- Guardrail — Ein Guardrail ist eine Schutzschicht außerhalb des Modells, die Ein- und Ausgaben prüft, filtert oder blockiert. Guardrails sind…
- Content-Filter — Ein Content-Filter prüft Texte gegen Kategorien unerwünschter Inhalte wie Gewalt, Hass oder Selbstgefährdung. Er adressiert…
- Constitutional Classifiers — Constitutional Classifiers sind dem Modell vor- und nachgeschaltete Prüfmodelle, die anhand explizit formulierter Regeln über…
Quellen
- Klassifikator — Beleg: https://huggingface.co/protectai/deberta-v3-base-prompt-injection-v2