Großes Sprachmodell (LLM)
Ein großes Sprachmodell ist ein auf sehr großen Textmengen trainiertes neuronales Netz, das Text fortschreibt, indem es das jeweils wahrscheinlichste nächste Token vorhersagt. Es besitzt kein Verständnis von Vertrauensgrenzen — für das Modell ist jeder Text im Kontext gleichermaßen Text.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Token, Kontextfenster, Prompt Injection.
Bezug zu Prompt Injection
Dass jeder Text im Kontext gleichwertig ist, ist keine Implementierungsschwäche einzelner Anbieter, sondern folgt aus der Architektur heutiger Transformer-Modelle. Deshalb lässt sich Prompt Injection durch Modelltraining bislang nicht beseitigen, sondern nur in der Erfolgsquote senken. Alle architektonischen Gegenentwürfe — Dual-LLM-Muster, CaMeL, StruQ — setzen genau hier an: Sie verlagern die Sicherheitsentscheidung aus dem Modell heraus. Für die Praxis heißt das, jede Sicherheitsaussage danach zu prüfen, ob sie im Modell oder außerhalb durchgesetzt wird — nur das Zweite ist verlässlich.
Beispiel
Dasselbe Modell, das eine Nutzerfrage beantwortet, folgt einer identisch formulierten Anweisung auch dann, wenn sie mitten in einem abgerufenen Dokument steht.
Verwandte Begriffe
- Token — Ein Token ist die kleinste Verarbeitungseinheit eines Sprachmodells — meist ein Wortteil, seltener ein ganzes Wort oder ein…
- Kontextfenster — Das Kontextfenster ist die maximale Textmenge, die ein Modell bei einer Anfrage gleichzeitig berücksichtigen kann. In ihm liegen…
- Prompt Injection — Prompt Injection bezeichnet einen Angriff, bei dem eingeschleuster Text das Verhalten eines Sprachmodells entgegen der Absicht…
Quellen
- Großes Sprachmodell (LLM) — Beleg: https://arxiv.org/abs/2005.14165