微调为什么会导致灾难性遗忘？如何缓解？
简化版
灾难性遗忘是模型学习新任务后，原有通用知识或能力显著下降。微调数据分布窄、学习率高、训练过久或全量更新参数时，新任务梯度会持续覆盖支撑旧能力的权重方向。
缓解方法包括混入高质量通用重放数据、降低学习率和训练步数、使用 LoRA 等 PEFT、对权重或输出加入保持约束、做知识蒸馏，以及选择更早 Checkpoint。必须同时评估领域提升和通用回归，不能只看训练 Loss。
微调成功的标准不是“新任务会了”，而是“以可接受代价学会新任务且没有丢掉必须保留的旧能力”。
详细版
可把训练目标写成多目标形式：
L_total = L_domain
+ λ_replay L_general
+ λ_distill KL(p_base || p_tuned)
+ λ_reg ||θ - θ_base||²L_domain 学新任务，重放数据保持通用能力，蒸馏约束输出分布，参数正则限制权重漂移。不同方法不一定同时使用，系数要在领域—通用 Pareto 上选择。
| 方法 | 优点 | 局限 |
|---|---|---|
| 通用数据 Replay | 直接提醒旧任务 | 增加训练成本、稀释领域信号 |
| 低学习率/早停 | 简单有效 | 新任务可能欠拟合 |
| LoRA/Adapter | 限制更新子空间 | 仍可能行为遗忘 |
| 蒸馏基座输出 | 保持行为分布 | 基座错误也被保留 |
| 参数正则/EWC | 限制重要权重变化 | 重要度估计和调参复杂 |
例如领域准确率从 70% 提到 90%，但通用推理从 85% 降到 68%，不能只报告 20 个百分点提升。应设通用回归不超过 2 个百分点等硬门槛。
完整版教学
1. 灾难性遗忘与普通过拟合的区别
过拟合强调新任务训练集与未见数据之间的泛化差；遗忘强调学新任务后旧任务性能下降。两者可以同时发生，也可以独立出现。
模型可能在领域验证集泛化良好，却丢失数学、代码或多语言能力，这属于遗忘而非领域过拟合。
2. 为什么梯度会覆盖旧能力
神经网络不同能力共享参数。窄领域梯度反复更新相同方向，会移动到更适合新分布、但不再适合旧分布的区域。
学习率、更新参数比例、数据偏移和训练 Token 数共同决定漂移程度。
3. 哪些症状提示遗忘
通用 Benchmark、基础指令遵循、多语言、安全拒答或格式能力在微调后下降；输出还可能过度使用领域术语，对普通问题也采用专业模板。
比较同一 Prompt、同一解码设置下的基座与微调模型，并按能力切片定位。
除了准确率，还应看拒答、输出长度、工具选择和校准变化。有时答案仍正确，但模型变得异常自信或更容易调用高风险工具，这也是行为能力退化。
4. 通用数据重放如何工作
在领域 Batch 中混入代表性通用指令、推理和安全样本，使优化器持续收到保持旧能力的梯度。
domain : general = 90:10, 70:30, 50:50 # 作为扫描配置最佳比例与领域偏移和模型规模有关，应通过 Pareto 选择。
5. 重放数据怎样选才有效
不是随机抓通用文本，而是覆盖必须保留的能力和历史敏感回归。高质量、低重复和正确模板比数量更重要。
若只重放普通问答，仍可能丢失代码或安全能力，因此要按保留目标分层。
6. PEFT 为什么通常更稳
LoRA 冻结基座，只在低秩子空间学习增量，参数漂移范围较小；推理时还可卸载 Adapter 恢复基座。
冻结权重不等于行为不变：Adapter 输出会覆盖基座特征，仍可能让通用回答退化或过度领域化。
所以 PEFT 同样需要全套回归。
7. 参数正则和 EWC 的思路
简单 L2-SP 约束参数靠近基座；EWC 对旧任务重要参数施加更强惩罚：
L_EWC = Σ_i F_i (θ_i - θ_i*)²F_i 可由 Fisher 信息近似。方法能减少漂移，但重要度估计成本高，且大模型多能力共享使解释复杂。
8. 知识蒸馏如何保持输出
在通用输入上，让微调模型的 Logits 接近基座：
L_KD = T² · KL(softmax(z_base/T) || softmax(z_tuned/T))蒸馏保持行为比纯参数距离更直接，但会继承基座在这些输入上的错误或偏差，需要选择数据和温度。
9. 低学习率与早停为什么有效
减小单步更新、缩短训练能限制离开基座区域。监控领域和通用曲线，当领域收益趋缓而通用开始快速下降时停止。
不能等训练 Loss 收敛才评估，因为遗忘可能在很早阶段发生。
10. 模型合并能否恢复能力
线性插值或 Task Arithmetic 可在基座与微调权重间折中：
θ_merge = (1-α) θ_base + α θ_tuned较小 α 可能恢复通用能力并保留部分领域增益，但关系非线性，合并后必须重新评测，且不同训练轨迹未必兼容。
11. 如何设计评测矩阵
至少包含领域 IID、领域未见组、通用能力、多语言、安全/过拒、工具协议和记忆风险。与基座做配对比较并给置信区间。
| 结果 | 判断 |
|---|---|
| 领域升、通用稳定 | 理想适配 |
| 领域升、通用降 | 遗忘，需要权衡/缓解 |
| 领域训练升、留出不升 | 领域过拟合 |
| 两者都降 | 配置或数据质量问题 |
12. 连续多阶段微调有什么额外风险
先法律、再客服、再安全对齐，每阶段都可能覆盖前面能力。应在每阶段使用联合 Replay 和累计回归，而不是只测最新任务。
保存基座与各 Adapter，必要时做模块化路由，而不是将所有能力强行串行写入一份权重。
13. 如何确定可接受遗忘
不是所有旧能力都同等重要。产品可明确必须保留、允许轻微退化和不在范围的能力，设置硬门槛与权重。
高风险安全和工具权限通常零或低容忍；无关领域 Benchmark 的轻微变化可在成本收益中权衡。
14. 常见误区与追问
- 误区：LoRA 冻结基座，所以不会遗忘。 Adapter 仍会改变整体行为和路由。
- 误区：验证 Loss 下降说明所有能力提升。 它只反映验证分布，不覆盖旧任务。
- 误区：混入任意通用文本都能保能力。 Replay 应覆盖明确要保留的能力。
- 误区：模型合并可以无成本恢复旧能力。 合并是新模型，领域增益也可能丢失。
- 误区：领域过拟合和遗忘是同一概念。 一个看新任务泛化，一个看旧任务退化。
- 追问：如何快速诊断？ 同时跑领域留出、基座通用集和安全工具回归，比较训练轨迹。
- 追问：数据少时优先什么？ 低学习率、少步数、PEFT、Replay 和频繁早停评测。
15. 加强记忆
- 定义：学新能力导致旧能力显著下降。
- 四类缓解：Replay、限制更新、蒸馏保持、模型合并。
- PEFT 非免疫：参数冻结不代表行为不变。
- 联合曲线：领域、通用、安全与工具随训练同时监控。
- 先定容忍度：必须保留能力设硬 Gate，再寻找 Pareto 最优点。