prompt injections.de
Werkzeug · Red-Teaming

promptfoo

Test- und Red-Teaming-Werkzeug für Prompts und Modelle mit Plugin-System für Angriffsklassen und CI-Integration. Testfälle werden in YAML beschrieben, wodurch sich Qualitäts- und Sicherheitsprüfungen im selben Lauf abbilden und versionieren lassen.

Anbieter
promptfoo
Typ
Red-Teaming
Lizenzmodell
Open Source
Primärquelle
github.com

promptfoo ist im Verzeichnis der Werkzeuge geführt, die beim Schutz vor Prompt Injection in LLM-Anwendungen eingesetzt werden. Die Beschreibung stammt aus der Primärquelle des Anbieters; Wirksamkeitsversprechen werden nicht übernommen. Vergleichbare Werkzeuge stehen im Werkzeug-Verzeichnis und im Guardrail-Vergleich.

Wofür es sich eignet

Regressionstests für Prompts und automatisierte Sicherheitsprüfungen bei jedem Deployment. Der Nutzen steht und fällt mit den selbst definierten Prüfkriterien: Ein grüner Lauf belegt nur, dass die hinterlegten Fälle bestanden wurden.

Was es nicht leistet

Angriffssimulation zeigt vorhandene Schwächen, nie deren Vollständigkeit. Ein bestandener Testlauf ist kein Freibrief für den Produktivbetrieb.

Der Grundsatz gilt unabhängig vom Produkt: Ein Sprachmodell ist kein Sicherheitskontrollpunkt. Wenn eine Aktion Schaden anrichten kann, muss sie außerhalb des Modells autorisiert werden — siehe Least Privilege für KI-Agenten.

Vergleichbare Werkzeuge

  • Lakera

    Gandalf

    Frei zugängliches Lernspiel, in dem Nutzer stufenweise versuchen, einem geschützten Sprachmodell ein Passwort zu entlocken — verbreitetes Schulungswerkzeug für Sicherheitsteams. Die Stufen bilden typische Schutzschichten nach, von fehlender Filterung bis zu kombinierter Ein- und Ausgabeprüfung, und machen deren jeweilige Grenzen unmittelbar erfahrbar.

    kommerziell
  • Microsoft

    PyRIT

    Python Risk Identification Toolkit — Automatisierungs-Framework für KI-Red-Teaming mit Orchestratoren für mehrstufige Angriffe wie Crescendo. Es liefert die Automatisierung, nicht das Urteil: Angriffsziele, Bewertungskriterien und Interpretation der Ergebnisse bleiben beim Team.

    Open Source

Quellen

  1. promptfoo — Anbieter- oder Projektquelle: https://github.com/promptfoo/promptfoo

Im Zusammenhang