prompt injections.de
Werkzeug · Guardrail-Framework

NeMo Guardrails

Framework für programmierbare Leitplanken: Mit der Sprache Colang werden erlaubte Gesprächsverläufe, Themen und Aktionen deklarativ festgelegt. Der deklarative Ansatz macht die Gesprächsführung nachvollziehbar und prüfbar, verlangt aber die Einarbeitung in eine eigene Sprache und die laufende Pflege der Regelwerke.

Anbieter
NVIDIA
Typ
Guardrail-Framework
Lizenzmodell
Open Source
Primärquelle
github.com

NeMo Guardrails ist im Verzeichnis der Werkzeuge geführt, die beim Schutz vor Prompt Injection in LLM-Anwendungen eingesetzt werden. Die Beschreibung stammt aus der Primärquelle des Anbieters; Wirksamkeitsversprechen werden nicht übernommen. Vergleichbare Werkzeuge stehen im Werkzeug-Verzeichnis und im Guardrail-Vergleich.

Wofür es sich eignet

Dialogsysteme, bei denen die Steuerung des Gesprächsverlaufs wichtiger ist als reine Eingabefilterung. In offenen Aufgabenstellungen ohne vorhersehbare Dialogpfade verliert der Ansatz an Wirkung, weil sich erlaubte Verläufe kaum vollständig beschreiben lassen.

Was es nicht leistet

Ein Framework nimmt die Integrationsarbeit ab, trifft die Sicherheitsentscheidungen aber nicht für Sie — Regelwerk, Schwellenwerte und Ausnahmen bleiben Ihre Verantwortung.

Der Grundsatz gilt unabhängig vom Produkt: Ein Sprachmodell ist kein Sicherheitskontrollpunkt. Wenn eine Aktion Schaden anrichten kann, muss sie außerhalb des Modells autorisiert werden — siehe Least Privilege für KI-Agenten.

Vergleichbare Werkzeuge

  • Protect AI

    Rebuff

    Prompt-Injection-Detektor mit vier Schichten: Heuristiken, LLM-basierte Prüfung, Vektor-Datenbank bekannter Angriffe und Canary-Tokens zur Leck-Erkennung. Die Kombination deckt unterschiedliche Angriffsklassen ab, erhöht aber Latenz und Betriebsaufwand, weil Vektorbestand und Heuristiken gepflegt werden müssen.

    Open Source
  • Protect AI

    LLM Guard

    Sicherheits-Toolkit mit Scannern für Eingaben und Ausgaben — Prompt Injection, Anonymisierung, Geheimnisse, Toxizität, Relevanz und mehr. Die Scanner sind einzeln zuschaltbar; jeder zusätzliche kostet Rechenzeit, weshalb sich die Auswahl an den tatsächlichen Risiken der Anwendung orientieren sollte.

    Open Source
  • Guardrails AI

    Guardrails AI

    Framework mit einem Hub austauschbarer Validatoren, die Ein- und Ausgaben gegen definierte Regeln prüfen und bei Verstoß korrigieren oder ablehnen. Die Validatoren reichen von Formatprüfungen bis zu inhaltlichen Regeln; ihre Qualität schwankt, weil ein Teil aus der Community stammt und unterschiedlich gepflegt wird.

    Open Source

Quellen

  1. NeMo Guardrails — Anbieter- oder Projektquelle: https://github.com/NVIDIA/NeMo-Guardrails

Im Zusammenhang