prompt injections.de
Werkzeug · Guardrail-API

OpenAI Moderation API

Klassifikations-API, die Texte und Bilder gegen eine Kategorienliste schädlicher Inhalte prüft. Die API ist für Kunden der Plattform kostenfrei nutzbar und deckt Text- wie Bildeingaben ab.

Anbieter
OpenAI
Typ
Guardrail-API
Lizenzmodell
kommerziell
Primärquelle
platform.openai.com

OpenAI Moderation API ist im Verzeichnis der Werkzeuge geführt, die beim Schutz vor Prompt Injection in LLM-Anwendungen eingesetzt werden. Die Beschreibung stammt aus der Primärquelle des Anbieters; Wirksamkeitsversprechen werden nicht übernommen. Vergleichbare Werkzeuge stehen im Werkzeug-Verzeichnis und im Guardrail-Vergleich.

Wofür es sich eignet

Ausgabeseitige Inhaltsprüfung — deckt Inhaltsrisiken ab, ist aber kein spezialisierter Injektionsschutz. Sie prüft Inhaltskategorien und erkennt keine Anweisungsübernahme — eine höflich formulierte Injektion passiert sie unauffällig.

Was es nicht leistet

Eine vorgelagerte Prüf-API senkt die Trefferquote von Angriffen, ersetzt aber keine Rechtebeschränkung: Was der Filter durchlässt, trifft weiterhin auf die vollen Berechtigungen der Anwendung.

Der Grundsatz gilt unabhängig vom Produkt: Ein Sprachmodell ist kein Sicherheitskontrollpunkt. Wenn eine Aktion Schaden anrichten kann, muss sie außerhalb des Modells autorisiert werden — siehe Least Privilege für KI-Agenten.

Vergleichbare Werkzeuge

  • Lakera

    Lakera Guard

    Echtzeit-API zur Erkennung von Prompt Injection, Jailbreaks und Datenabfluss, die als Prüfschicht vor und hinter das Sprachmodell gehängt wird. Die Erkennung stützt sich auf laufend aktualisierte Modelle des Anbieters; Trainingsdaten und Schwellwerte sind nicht offengelegt, eine unabhängige Nachprüfung der Trefferquoten ist damit nicht möglich.

    kommerziell
  • Microsoft

    Azure AI Prompt Shields

    Dienst innerhalb von Azure AI Content Safety, der direkte Jailbreak-Angriffe und indirekte Injektionen in eingebetteten Dokumenten erkennt. Der Dienst unterscheidet zwischen Angriffen auf den Nutzerprompt und Injektionen in eingebetteten Dokumenten und meldet beide getrennt.

    kommerziell
  • Amazon Web Services

    Amazon Bedrock Guardrails

    Konfigurierbare Leitplanken auf Plattformebene mit Filtern für schädliche Inhalte, gesperrte Themen, sensible Daten und Prompt-Angriffe. Die Leitplanken werden auf Plattformebene definiert und wirken dadurch modellübergreifend und unabhängig vom Anwendungscode.

    kommerziell

Quellen

  1. OpenAI Moderation API — Anbieter- oder Projektquelle: https://platform.openai.com/docs/guides/moderation

Im Zusammenhang