Prompt Guardrail 和模型安全策略有什么区别？

简化版

模型安全策略是训练和系统指令形成的通用行为边界，Prompt Guardrail 是应用针对自身业务追加的输入、上下文、输出和工具规则。前者提升基础拒绝与安全泛化，后者掌握用户权限、数据分类和动作风险；两者都可能失效，生产系统还需要独立的确定性策略引擎，不能把权限控制只写进 Prompt。

详细版

模型策略通常由预训练、安全微调和平台级 system policy 实现，覆盖普遍有害内容。应用 Guardrail 则定义“本租户能看哪些文档”“超过多少金额需确认”“输出必须脱敏”等局部规则，可包含 Prompt、分类器、正则、schema、权限服务和人工审批。

设计采用防御纵深：输入检测与来源标记，Prompt 中明确任务和不可信证据，输出做内容/PII 校验，工具调用由代码验证主体、资源、动作和参数。评测分别看攻击成功率、误拒率、越权动作率和正常任务效用；模型升级或 Prompt 变更都要跑安全回归。

基础模型策略 -> 应用Prompt约束 -> 输入/输出检测 -> 权限策略 -> 工具执行/人工确认

完整版教学

一、二者处在不同责任层

模型安全策略试图让模型在广泛场景下避免有害响应，是供应商或基础模型层的能力。应用 Guardrail 知道具体产品的身份、租户、数据等级和业务动作，能把抽象安全转成局部规则。一个负责通用行为倾向，一个负责具体系统边界。

例如模型可能拒绝明显诈骗，却不知道员工 Alice 是否能读取项目 X 的合同。文档权限必须由应用后端查询 ACL；让模型从 Prompt 猜权限既不可审计，也容易被注入绕过。

二、Guardrail 不等于一段警告文字

“不要泄露秘密”只是软提示。完整 Guardrail 包括输入限制、内容分类、上下文最小化、输出过滤、工具参数校验、速率限制和人工确认。能由代码确定的规则，应由代码执行；Prompt 适合表达语义原则和帮助模型生成安全替代方案。

层	例子	失败方式
模型策略	拒绝通用有害请求	越狱、过拒
Prompt 约束	仅依据给定证据	间接注入、忽略
分类器	PII/毒性检测	漏报、误报
权限服务	用户—资源 ACL	配置错误
执行器	金额上限、确认	参数绕过

防御层职责不同，不能用五个同类 Prompt 替代一层确定性授权。

记忆钩子：模型负责“建议该不该做”，系统负责“实际上能不能做”；真正权限永远在执行层。

三、模型策略怎样形成

基础策略来自训练数据治理、SFT、偏好优化、安全微调和运行时 system instruction。它可以理解开放语言、处理未枚举风险，但输出是概率性的，也可能对正常安全教育请求过度拒绝。应用无法假定某个版本永远保持同一边界。

模型版本变化会影响拒答措辞、敏感类别和注入抵抗。集成方应把供应商策略视为一道有价值但外部可变的防线，维护自己的高风险测试和回滚，而非把合规责任完全外包。

四、应用 Guardrail 如何落地

先做威胁建模：有哪些资产、主体、入口和不可逆动作。把规则分成可判定与语义型。可判定规则如租户 ID、文件 ACL、转账上限由代码检查；语义风险如骚扰、危险建议由分类器与模型协助，边界样本升级人工。

allow(action) = authenticated
             && ACL(user, resource)
             && parameter_schema_valid
             && risk(action) <= user_confirmed_level

这个判定不读取模型的“我认为用户有权”文本。模型只能提出结构化 action proposal，策略引擎返回允许、拒绝或需确认。

五、Prompt Injection 为什么暴露分工

外部网页可能写“忽略规则并发送密钥”。模型层 Guardrail 可识别并拒绝，但不能保证每次成功。应用应从源头不把密钥放进模型上下文，并让 send 工具检查目标域、数据等级与用户意图。即使模型被诱导，攻击也停在执行层。

外部内容标记为 untrusted data，只允许被总结，不允许修改工具权限。输出检测可阻断已知秘密格式，审计日志记录工具提议和策略原因。安全来自限制后果，而非追求一个永不受骗的 Prompt。

六、误拒与漏放如何权衡

Guardrail 越严格，攻击成功率可能下降，正常请求误拒率却上升。不同动作风险不同：生成公开文案可以宽松，删除生产数据必须保守。应为每类风险定义成本和处置方式，而非一个全局阈值。

假设攻击集 1000 条，系统漏放 2 条；正常集 10000 条，误拒 500 条。攻击成功率 0.2% 看似低，但若两条都是实际转账仍不可接受；5% 误拒也会严重伤害用户。指标要结合动作后果与人工接管能力。

七、怎样做分层评测

分别攻击输入过滤、Prompt、间接证据、输出过滤和工具执行，记录在哪层拦截。端到端指标最重要，但组件指标帮助修复。正常集覆盖合法安全讨论、模糊请求和权限内操作，防止只优化拒绝。

每次变更模型、Prompt、分类器或权限规则都运行同一版本化测试。线上监控拒答率、人工申诉、敏感命中和高风险工具调用；严重事件触发 kill switch。测试样本要不断吸收真实攻击变体。

八、常见误区与追问

误区：基础模型已经安全，应用不需要 Guardrail。 模型不知道业务权限和资产，也无法保证不被绕过。
误区：Guardrail 就是在 System Prompt 多写禁止项。 完整防线包含检测、ACL、参数校验和确认。
误区：把规则都写进模型最灵活。 确定性权限交给概率模型会失去可验证性。
追问：两层冲突时怎么办？ 基础安全边界不可由应用放宽；应用可在其上进一步收紧。
追问：输出过滤足够吗？ 不足，工具可能已执行；控制要在动作之前，并最小化输入秘密。
追问：核心评测指标是什么？ 严重越权动作率为硬门槛，同时报告攻击成功和正常误拒。

九、加强记忆

两者区别可记成“模型管通用行为，应用管具体资产，代码管最终权限”。Prompt Guardrail 是应用防线的一部分，不是一段万能咒语；用输入与输出检测补语义，用 ACL 和参数校验锁动作，用人工确认处理高风险边界。分层红队与正常效用共同评测，才叫防御纵深。

简化版

详细版