Anweisungen und Daten als getrennte Kanäle

RAG-Dokumente, Tickets und Benutzertext bleiben Daten, auch wenn sie wie Befehle klingen. Ein zufälliger Trenner markiert den Block; die Regel verbietet Ausführung, Geheimnisoffenlegung und unklare Aktionen.

Trenner allein schützen nicht. Werkzeug-Allowlist, enge Parameter, read-only-Standard, Ausgabelimits und menschliche Freigabe gehören zum selben Bedrohungsmodell.

  • Untrusted Content nicht in Systemanweisungen mischen.
  • Werkzeuge und Parameter erlauben statt offen wählen.
  • Mit synthetischen Daten und Rollback testen.

Ausgabe maschinenprüfbar binden

Die Bitte um JSON kontrolliert weder Felder noch Typen. Ein geschlossenes Schema zeigt Pflichtfelder, Typen und zusätzliche Eigenschaften. Antworten werden zuerst geparst, dann validiert; Fehler müssen verständlich sein.

Ein Schema ersetzt keine Fachregeln zu Geld, Datum, Beziehungen oder Berechtigungen. Auch schema-valide Ergebnisse benötigen Wirkungsprüfung.

Red-Team-Fälle mit Version und Nachweis

Tests decken Datenabfluss, übermäßige Autonomie, Scheinsicherheit, fehlerhafte Eingaben, Undo und Freigabeumgehung ab. Erwartung, Beobachtung, Modell-/Prompt-Version, Datum und Prüfer werden festgehalten.

Ein sauberer Lauf genügt nicht. Normal-, Grenz-, Missbrauchs- und Regressionstests werden bei Versionswechsel wiederholt; die Freigabe bleibt menschlich.