In-Context-Learning
In-Context-Learning bezeichnet die Fähigkeit eines Modells, aus Beispielen im Prompt eine Aufgabe zu erschließen, ohne neu trainiert zu werden. Dieselbe Fähigkeit lässt sich missbrauchen, um Sicherheitsverhalten durch gefälschte Beispiele zu überschreiben.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Many-Shot-Jailbreaking, Prompt Engineering, Kontextfenster.
Bezug zu Prompt Injection
In-Context-Learning erklärt, warum Beispiele im Prompt so stark wirken — und warum gefälschte Beispiele ebenso stark wirken. Das Modell unterscheidet nicht zwischen einer Demonstration des Betreibers und einer, die in einem abgerufenen Dokument mitgeliefert wurde. Wer Beispiele in den Prompt aufnimmt, sollte sie aus vertrauenswürdiger Quelle setzen und fremde Inhalte klar als Daten kennzeichnen. Dieselbe Mechanik erklärt auch, warum Many-Shot-Jailbreaking funktioniert: Es ist In-Context-Learning, angewandt auf unerwünschtes Verhalten.
Beispiel
Ein abgerufenes Dokument enthält scheinbare Beispieldialoge, an denen das Modell sein Antwortformat und seinen Tonfall ausrichtet.
Verwandte Begriffe
- Many-Shot-Jailbreaking — Many-Shot-Jailbreaking füllt das Kontextfenster mit vielen fingierten Dialogbeispielen, in denen ein Assistent regelwidrig…
- Prompt Engineering — Prompt Engineering ist das gezielte Gestalten von Eingaben, um verlässlichere Modellausgaben zu erhalten. Es ist eine Methode…
- Kontextfenster — Das Kontextfenster ist die maximale Textmenge, die ein Modell bei einer Anfrage gleichzeitig berücksichtigen kann. In ihm liegen…
Quellen
- In-Context-Learning — Beleg: https://arxiv.org/abs/2005.14165