用提示边界、结构化输出和红队测试构建可靠 AI 流程

把指令与数据设计为独立通道

RAG 文档、工单或用户文本即使看起来像指令，也应先视为数据。随机明确的分隔符标记数据块，治理规则禁止执行其中命令、泄露秘密或在不明确时继续。

分隔符不是防火墙。工具白名单、窄参数模式、只读默认、输出限制和高影响操作前的人工审批必须共同工作。

• 不要把不可信内容合并进系统指令。
• 对白名单工具与参数进行限制。
• 使用合成数据和回滚方案测试。

把输出绑定到机器可校验契约

仅要求 JSON 无法控制字段、类型或额外说明。封闭对象 Schema 明确必填字段、类型与附加属性策略；应先解析，再按 Schema 校验，并向用户解释错误。

Schema 不能替代金额、日期、枚举、关系和权限等业务规则；通过 Schema 的结果仍需评估实际影响。

让红队用例带版本和证据

检查应涵盖数据泄露、越权、虚假确定性、异常输入、撤销、日志最小化和绕过审批。记录预期行为、实际观察、模型/提示版本、日期与评审者。

一次通过并不等于保障。版本变化后应重复正常、边界、滥用和回归用例，发布决定由授权人员作出。