Tokenisierung
Die Tokenisierung zerlegt Text in die Einheiten, die ein Modell tatsächlich verarbeitet. Angriffe wie Homoglyphen- oder Zero-Width-Obfuskation nutzen aus, dass diese Zerlegung nicht der menschlichen Wortwahrnehmung entspricht.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Token, Obfuskation, Homoglyph.
Bezug zu Prompt Injection
Weil jede Modellfamilie einen eigenen Tokenizer verwendet, verhalten sich identische Eingaben modellabhängig unterschiedlich — ein für ein Modell kalibrierter Filter kann bei einem anderen danebenliegen. Angriffe nutzen genau diesen Spalt zwischen menschlicher Lesart und maschineller Zerlegung. Wer Eingaben prüft, sollte sie zuvor normalisieren: Unicode-Normalform anwenden, unsichtbare Zeichen entfernen, bekannte Kodierungen auflösen. Für die Praxis genügt meist eine feste Reihenfolge: normalisieren, unsichtbare Zeichen entfernen, erst danach prüfen und an das Modell übergeben.
Beispiel
Derselbe Satz wird von zwei Modellen in unterschiedlich viele Token zerlegt, weshalb eine längenbasierte Schutzregel nur bei einem der beiden greift.
Verwandte Begriffe
- Token — Ein Token ist die kleinste Verarbeitungseinheit eines Sprachmodells — meist ein Wortteil, seltener ein ganzes Wort oder ein…
- Obfuskation — Obfuskation verschleiert einen Angriffs-Payload so, dass Filter ihn nicht erkennen, das Modell ihn aber weiterhin versteht…
- Homoglyph — Ein Homoglyph ist ein Zeichen, das einem anderen optisch gleicht, aber einen anderen Codepunkt hat — etwa kyrillisches „а" statt…
Quellen
- Tokenisierung — Beleg: https://github.com/openai/tiktoken