对齐训练为什么会导致能力回退？如何检测？

简化版

对齐训练会改变模型输出分布，若偏好数据覆盖窄、奖励信号过强或安全拒答泛化过度，模型可能在知识问答、代码、长文本和指令遵循上回退。检测时不能只看安全分数，要把基座、SFT 和对齐版本在固定能力集、行为集与切片上配对比较，并关注拒答造成的“假失败”。出现回退后可调整数据混合、KL 约束、训练强度和路由，而不是简单取消安全目标。

详细版

常见机制包括灾难性遗忘、偏好数据分布偏置、奖励模型错误、过优化和输出风格变化影响评分器。评测要使用冻结测试集与动态污染检查，按任务、语言、长度、风险等级拆分，同时人工复核显著回退样本。

candidate - baseline = Δcapability, Δsafety, Δhelpfulness, Δrefusal

发布门禁应允许明确的权衡预算，例如危险请求拒答上升是目标，安全普通问题误拒绝上升则是回归。对每个关键能力设置非劣阈值与置信区间；回退定位到数据、奖励、解码或评测变化后，再采取回放通用数据、降低学习率、增加 KL、分层策略或模型路由。

完整版教学

一、对齐不是只给模型加规则

SFT、DPO、PPO 等训练会更新参数，改变大量输入上的概率分布。即使训练数据只讨论安全，参数共享也可能影响代码、数学和多语言能力。

因此对齐结果必须同时衡量安全和通用能力。只证明“有害回答更少”不足以说明版本可上线。

记忆钩子：对齐是在重新塑形整个输出分布，不是在模型外面贴一张拒答清单。

二、能力回退有哪些来源

训练数据过窄会让模型适应特定语气和任务；学习率或训练轮数过大可覆盖原能力；偏好标签可能奖励冗长、奉承或固定模板；奖励优化过强会钻评分器漏洞。

来源	现象	排查证据
灾难性遗忘	通用任务普遍下降	基础能力集广泛回退
数据偏置	特定语言/领域下降	切片与训练分布对应
过度拒答	安全普通问题失败	拒答混淆矩阵
评分器偏差	风格变了导致低分	人评与自动分背离

先区分真实能力丢失与评测方法失配，修复路径才不会走偏。

三、拒答会制造假回退

问题“如何安全储存家用清洁剂”包含危险词，却是正常安全咨询。模型若一律拒绝，安全过滤器可能给高分，帮助性评测却下降。

应把请求分成明显有害、边界、良性但敏感、普通四类，计算应拒绝与不应拒绝的混淆矩阵。普通敏感问题的误拒绝率，是对齐回归的重要指标。

答案风格更简短也可能让关键词型评分器误判，需要人工抽样确认。

四、采用配对版本比较

对同一输入同时运行基线和候选，固定解码配置与工具环境，记录每题变化。配对测试能减少题目难度差异，直接观察候选在哪些样本赢或输。

若 1000 题中候选新增答对 70 题、从对变错 110 题，净变化为 -40，但更重要的是分析 110 题集中在哪些切片。不能只看总体 -4%。

随机任务需重复采样或固定种子，并报告置信区间。

五、门禁要有非劣界限

不可能要求每项都绝对提高，可为关键能力定义允许最大下降。例如代码通过率不得下降超过 1 个百分点，普通问题误拒绝不得上升超过 0.5 个百分点，同时高危遵从率必须下降到目标。

ship if safety_gain >= S_min
    and capability_delta >= -ε
    and benign_refusal_delta <= r_max

阈值来自业务风险，不应在看到结果后临时调整。关键切片样本太少时，证据不足就不能宣称非劣。

六、定位训练阶段与配置

保存基座、SFT、偏好优化各检查点并逐级评测。如果 SFT 后已下降，问题多在示范数据或训练强度；只在 DPO/PPO 后下降，则检查偏好对、奖励模型、KL 和采样分布。

同时固定 Prompt 与解码参数，避免把应用层变化归因到模型。评测集版本和评分器版本也要进入结果元数据。

损失曲线正常不代表能力不回退，因为训练目标与业务能力并不相同。

七、修复要针对根因

通用能力遗忘可混入高质量回放数据、降低学习率或减少轮数；偏好过强可增加 KL 约束；误拒绝可补边界与良性敏感样本；评分器漏洞要先修奖励与评测。

若不同目标确实冲突，可使用策略层分类、模型路由或高风险场景专用模型，避免让一个参数更新承担所有边界。

修复后重跑全量回归，不能只检查最初失败的几个样本，否则容易过拟合补丁。

八、线上继续监控隐性回退

离线集无法覆盖所有真实输入。灰度期间比较任务完成率、编辑率、重新提问率、转人工率和误拒绝投诉，并按语言、客户和任务类型切片。

例如总体满意度不变，但日语代码任务成功率从 82% 降到 70%，平均值会掩盖严重回退。上线指标必须与离线切片对应。

发现异常保留输入脱敏样本、模型与策略版本，回流成新的回归测试。

九、常见误区与追问

• 误区：安全分数上升就代表对齐成功。 还可能牺牲通用能力和良性帮助性。
• 误区：总体平均不下降就没有回退。 小语言和高价值任务可能被平均值掩盖。
• 误区：拒答更多一定更安全。 对良性敏感请求的误拒绝是质量问题。
• 误区：训练 loss 正常就不会忘记。 训练目标并不直接衡量业务能力。
• 误区：修复几个失败例子即可上线。 必须全量回归，防止补丁过拟合。
• 追问：如何区分评分器误判与真实回退？ 对差异样本做盲人评和可执行验证。
• 追问：门禁阈值怎么定？ 依据错误损失、历史波动和样本量，发布前固定。
• 追问：KL 越大越好吗？ 过强会限制对齐收益，应在安全—能力曲线上选择。

十、加强记忆

对齐回退记住“分布被改、配对比较、切片看损失、门禁保非劣”：从基座到各训练检查点固定条件评测，把安全、能力、帮助性和拒答拆开；总体分数之外查看语言、任务和敏感良性切片。修复根据遗忘、数据偏置、过度拒答或评分器错误分别处理，并在灰度线上继续捕获离线集未覆盖的回退。