如何在线监控大模型对齐与安全表现？

简化版

在线对齐监控不能只数拒答率，要同时观察严重违规、良性误拒绝、任务完成、用户申诉、工具越权和策略漂移。链路记录模型、Prompt、策略、检索和工具版本，对输入输出做隐私保护后的风险分类与抽样复核；按风险域、语言、租户和版本切片。高风险信号触发降级、停用工具或回滚，延迟标签则回流为新的离线回归集。

详细版

监控分三层：前置输入风险与攻击趋势，中间层策略判定、模型响应和工具网关事件，结果层违规、误拒绝、人工接管和业务损失。指标必须同时覆盖安全和帮助性，避免通过“全部拒绝”获得漂亮安全数字。

request -> risk/policy -> model -> output check -> tool gateway
   |          |           |           |              |
 versioned trace + sampled review + incident correlation

自动分类器只做规模化信号，需用人工抽样估计误报漏报。对严重事件设置零容忍告警与运行手册；普通漂移用控制图或版本对照观察。日志最小化收集、脱敏、限权和定期删除。出现异常时能按版本回放，并将确认失败样本加入挑战集。

完整版教学

一、为什么离线通过仍需在线监控

线上用户、语言、攻击方式和工具状态持续变化，离线集只能覆盖已知分布。模型没有变化，检索源更新或 Prompt 发布也可能改变安全行为。

在线监控用于尽早发现未知失败并限制影响范围，不是把所有对话永久存下来。设计时要同时考虑可观测性和隐私最小化。

记忆钩子：离线评测决定“能否发布”，在线监控回答“发布后是否仍守边界”。

二、安全与帮助性必须成对观察

拒答率升高可能是攻击增加，也可能是模型对良性请求过度拒绝。只看总拒答无法判断质量，应结合输入风险分布、应拒绝召回和良性误拒绝抽样。

指标	上升可能意味着	需要联查
拒答率	风险流量或过拒	输入风险、投诉
违规率	防护退化	风险域、模型版本
转人工率	边界不确定或工具故障	原因码、等待时间
任务完成率	帮助性变化	拒答与工具成功

任何单指标都有多重解释，告警应基于组合信号。

三、Trace 必须关联全部版本

一次回答受模型、系统提示、策略、解码、检索索引、工具集合和安全分类器共同影响。Trace 记录这些版本及决策结果，才能定位回归。

敏感原文不一定要全存，可记录风险标签、脱敏摘要、哈希和受控样本引用。需要调查时按权限访问短期原始数据，并留下审计。

模型回复被应用后处理修改时，要同时记录原始结果和用户实际看到的版本。

四、自动检测器需要持续校准

内容安全分类器、规则和评审模型都会误判。线上按风险分层抽样人审，建立混淆矩阵，估计漏报和误报；不能把分类器输出当真值再证明自己有效。

若自动系统标记 1000 条风险，抽查 100 条只有 70 条真风险，精确率约 70%。还要从“未标记”流量抽样才能估计召回，否则看不到漏检。

分类器版本变化后保持重叠运行一段时间，对比差异再切换。

五、按切片发现平均值掩盖的回归

整体违规率可能稳定，但某种语言、某个工具或长上下文场景显著恶化。常用切片包括风险域、语言、任务类型、模型版本、Prompt 版本、是否使用 RAG 和是否触发工具。

样本很小的切片容易随机波动，应展示样本量和置信区间。高严重度事件即使样本少也要逐条处理，不能等统计显著。

切片维度要控制基数，用户 ID 等高基数字段不应直接成为监控标签。

六、从检测到响应需要运行手册

严重违规、越权工具调用和隐私泄露触发即时事件；响应可以关闭某工具、切回旧策略、路由到更保守模型或暂停相关功能。普通误拒绝上升则可先灰度回滚并扩充样本。

detect -> confirm -> contain -> rollback/mitigate
       -> investigate -> recover -> add regression test

每类告警明确负责人、响应时限、证据和回滚开关。只有仪表盘没有行动路径，不构成治理闭环。

七、迟到反馈需要正确归因

用户申诉、人工审核和业务损失可能几天后才到。用 trace ID 关联当时模型与策略版本，把确认标签回填到对应时间窗口。

不能用点击率简单代表安全：危险但迎合的回答可能获得短期正反馈。任务完成、编辑修正、申诉和专家审核要组合解释。

回流样本先去重、脱敏和确认，再加入挑战集；未经验证的投诉也不能直接当训练标签。

八、隐私和日志成本同样是边界

只收集排障与评测必要字段，设置保留期、访问控制、加密和删除流程。高敏内容可在本地分类后只上传标签，人工样本采用严格抽样。

假设每天 100 万请求，保存全部原文既昂贵又扩大泄露面；若按风险全量、普通流量 0.1% 抽样，人工与存储压力会显著下降，同时保留发现问题的通道。

抽样策略本身要记录，计算指标时使用权重，避免把高风险过采样误当真实流量比例。

九、常见误区与追问

• 误区：拒答率越高，模型越安全。 可能是良性误拒绝，必须与输入风险和帮助性联看。
• 误区：自动安全分类器就是线上真值。 需要人审抽样估计误报漏报。
• 误区：只记录模型版本足够定位。 Prompt、策略、检索和工具版本同样影响行为。
• 误区：总体指标稳定就没有问题。 语言、风险域和工具切片可能显著回归。
• 误区：为安全可以永久保存全部对话。 监控仍需遵守数据最小化与删除要求。
• 追问：严重事件怎样告警？ 使用高精度规则与多信号确认，并配套停用、回滚和负责人。
• 追问：如何估计漏检？ 从未被分类器标记的流量中随机或风险分层抽样人审。
• 追问：线上失败如何进入评测？ 先确认、脱敏、去重和标注，再加入挑战与回归集。

十、加强记忆

在线对齐监控记住“成对指标、全链版本、抽样真值、切片观察、事件闭环”：违规与误拒绝、安全与任务完成同时看；Trace 关联模型、Prompt、策略、检索和工具；自动检测器靠人审抽样校准；平均值之外看语言与风险切片。严重事件有立即止损与回滚手册，确认样本再回流评测，同时坚持日志最小化和权限治理。