NIST AI Risk Management Framework
Das NIST AI RMF ist ein freiwilliges Rahmenwerk zum Management von Risiken in KI-Systemen entlang der Funktionen Govern, Map, Measure und Manage. Es liefert die Governance-Struktur, in die technische Maßnahmen gegen Prompt Injection eingebettet werden.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind OWASP LLM Top 10, EU-KI-Verordnung (AI Act), Red Teaming.
Bezug zu Prompt Injection
Das Rahmenwerk beantwortet nicht, wie man Prompt Injection technisch verhindert, sondern wer im Unternehmen zuständig ist, wie Risiken erfasst und wie Maßnahmen gemessen werden. In der Praxis liefert es die Struktur, in die Red-Teaming-Ergebnisse und Benchmark-Werte eingeordnet werden. Es ist freiwillig, wird aber häufig als Referenz in Ausschreibungen und Audits verlangt. Für kleinere Betreiber ist vor allem die Frage nützlich, die es erzwingt: Wer entscheidet, ab welchem Messwert eine KI-Anwendung nicht mehr produktiv laufen darf?
Beispiel
Die Ergebnisse der monatlichen Injektionstests werden unter „Measure“ dokumentiert und lösen bei Abweichung einen definierten Prozess unter „Manage“ aus.
Verwandte Begriffe
- OWASP LLM Top 10 — Die OWASP Top 10 für LLM-Anwendungen sind die maßgebliche Referenzliste der häufigsten Sicherheitsrisiken generativer…
- EU-KI-Verordnung (AI Act) — Die EU-KI-Verordnung regelt KI-Systeme risikobasiert und stellt an Hochrisiko-Systeme sowie an KI-Modelle mit allgemeinem…
- Red Teaming — Red Teaming ist das systematische Angreifen des eigenen Systems, um Schwachstellen vor Dritten zu finden. Bei KI-Systemen…
Quellen
- NIST AI Risk Management Framework — Beleg: https://www.nist.gov/itl/ai-risk-management-framework