领域微调如何避免只记住训练样本？
简化版
领域微调只记住训练样本，通常表现为复述固定模板、对近似问题很好但换表达就失败、泄露训练文本，或把领域规则错误泛化到所有场景。根因包括数据少且重复、标签单一、训练过久和验证泄漏。
缓解方法是提高真实多样性、按文档/模板/用户分组验证，降低学习率和训练轮数，使用 Weight Decay、Dropout、早停，并混入一定比例高质量通用数据。还要用改写、反事实、未见实体和训练数据最近邻检测验证泛化。
判断是否过拟合，不能只看训练与验证 Loss；验证集若与训练集同模板，也会一起“变好”。
详细版
典型诊断信号：
train loss ↓, validation loss ↑ -> 经典过拟合
IID validation ↑, grouped holdout 不变/下降 -> 模板或实体记忆
领域指标 ↑, 通用指标显著 ↓ -> 能力过度专化
输出与训练答案近似逐字一致 -> 记忆/泄露风险例如训练集 2 万条来自 200 个文档，逐样本随机切分会让同文档片段进入验证集。应以 document_id 分组，把未见文档整体留出，才能测试对新资料的泛化。
| 手段 | 主要作用 | 可能代价 |
|---|---|---|
| 数据去重与多样化 | 增加有效样本 | 清洗成本 |
| 早停/低学习率 | 减少权重漂移 | 可能欠拟合 |
| Weight Decay/Dropout | 正则化 | 需调参 |
| 混入通用数据 | 保持原能力 | 稀释领域信号 |
| PEFT/LoRA | 限制更新自由度 | 复杂适配可能容量不足 |
完整版教学
1. 领域过拟合有哪些表现
不仅是验证 Loss 上升，还包括输出格式僵化、频繁引用训练实体、无法处理同义改写、遇到未知就编造领域答案，以及通用问答退化。
需要从泛化、记忆和能力回归三个角度分别观察。
还应检查生成多样性：不同问题若频繁出现相同开头、段落和结论，说明模型可能过度拟合答案模板，即使事实指标暂时没有下降。
2. 为什么小而重复的数据特别危险
同一模板替换实体生成 1 万条，表面规模大，实际有效模式可能只有几十个。训练多 Epoch 会反复强化相同梯度方向。
先做语义去重和模板聚类，以有效簇数而不是文件行数估计数据规模。
3. 正确的验证切分是什么
按会话、文档、客户、模板或实体分组，使验证集包含训练未见的完整组。若目标是上线处理未来政策，还应做时间留出。
IID 验证回答“类似样本能否复现”，Group/Time Holdout 才更接近“新场景能否泛化”。
两类指标都可保留，但不能用前者替代后者。
4. 如何构造泛化压力测试
对训练问题做不改变语义的改写、改变无关背景、替换实体和顺序；再加入相似但答案边界不同的反事实。
| 测试 | 希望保持 | 希望变化 |
|---|---|---|
| 同义改写 | 答案语义 | 表达形式 |
| 未见实体 | 规则应用 | 实体名称 |
| 反事实条件 | 推理方法 | 最终结论 |
| 无关干扰 | 核心答案 | 忽略噪声 |
只记模板的模型会在这些最小变化下暴露。
5. 学习率和 Epoch 如何影响过拟合
学习率过高会快速改变基座能力，Epoch 过多会反复拟合少量模式。记录有效 Token、梯度范数和目标/通用验证曲线。
小数据通常从更低学习率、少 Epoch 和频繁评测开始，用早停而不是预设长训练。
6. 正则化如何选择
Weight Decay 限制参数幅度，Dropout 增加随机扰动，Label Smoothing 对自回归 SFT 使用需谨慎，因为可能改变语言分布。LoRA 通过低秩更新限制自由度。
正则化过强会欠拟合，因此要在未见组验证集上选取，而非只看训练 Loss。
7. 为什么混入通用数据有效
在领域样本中混入高质量通用指令数据，可持续提醒模型原有行为，减少灾难性遗忘和语言风格塌缩。
batch ~ 70% domain + 30% general比例只是起点，应扫描 90/10、70/30、50/50 等配置，比较领域收益与通用回归。
8. Curriculum 与采样权重如何使用
可先用多样通用和基础领域样本稳定适配，再逐步增加困难领域任务。对重复簇设置上限，避免大来源主导 Batch。
显式采样权重比保留重复副本更可控，并能记录每类实际 Token 占比。
9. PEFT 是否天然不会过拟合
LoRA 参数少，通常降低自由度，但仍能记住小数据，特别是 Rank 高、注入层多或训练久时。Adapter 也可能强制固定风格。
PEFT 不是过拟合免疫，需要同样的分组验证和记忆测试。
10. 如何检测训练数据记忆
对生成片段在训练库中做 n-gram/Embedding 最近邻，测试带唯一 Canary 的样本是否被非授权复现，并用成员推断作为风险信号。
精确复述可能在法律条款等任务中合理，需区分允许引用与敏感泄露，结合来源和权限判断。
可对训练样本和未见对照分别做提取攻击，比较成功率差异；若仅凭罕见前缀就能恢复长段私有文本，应立即隔离数据批次并检查去重、权限和训练强度。
11. 领域 RAG 与微调如何配合
变化频繁的事实放在 RAG，微调学习格式、推理模式和稳定行为。把所有文档事实写入参数会增加记忆和过期风险。
评测时更换未见文档，验证模型能基于新证据作答，而不是依赖训练记忆。
12. 如何建立早停和发布门槛
定期评估领域 IID、领域 Group Holdout、通用集、安全集和记忆探针。领域提升停滞或通用退化超过阈值就停止。
最终选择 Pareto 最优 Checkpoint，而不是最后一步或最低 Loss。
13. 常见误区与追问
- 误区：验证 Loss 下降就没有过拟合。 验证泄漏或同模板会让 Loss 虚低。
- 误区：数据有 10 万条就足够多样。 模板复制可能只有很少有效模式。
- 误区：LoRA 参数少所以不会记忆。 高 Rank、多层和长训练仍可过拟合。
- 误区：混入通用数据越多越好。 过多会稀释领域信号，需要看 Pareto 权衡。
- 误区：领域事实都应通过微调记住。 时效事实更适合 RAG，减少过期和泄露。
- 追问：如何区分欠拟合与过拟合？ 看训练、分组验证和通用回归的联合曲线，而不只一条 Loss。
- 追问：如何证明不是背答案？ 用未见实体、改写、反事实和训练最近邻检测。
14. 加强记忆
- 三类症状：模板泛化差、训练文本复述、通用能力退化。
- 先修数据：去重、多样化、按簇采样和正确分组切分。
- 再控训练：低学习率、少 Epoch、正则化与早停。
- 保留基座：混入通用数据，PEFT 也要回归测试。
- 证伪记忆：改写、未见实体、反事实和最近邻检查。