领域适配微调和通用 SFT 有什么区别？如何避免只学到术语？

简化版

领域适配微调的目标不是让模型背术语，而是让它在特定行业语境下形成更稳定的任务行为、表达规范和判断边界。它比通用 SFT 更强调领域数据覆盖、负例、评测集和上线场景闭环。

详细版

• 通用 SFT 偏向指令跟随和通用任务格式，领域适配关注专业语境。
• 数据应覆盖高频任务、专业术语、业务流程、边界案例和拒答场景。
• 只堆语料会让模型学会口吻，不一定学会专业判断。
• 评测要包含领域事实、推理步骤、合规约束和用户体验指标。
• 常与 RAG、工具和规则系统组合，而不是单靠微调解决知识更新。

完整版教学

这道题考察候选人能否把微调目标从“喂行业数据”提升到“塑造可交付行为”。

一、这题真正考什么

这道题考察候选人能否把微调目标从“喂行业数据”提升到“塑造可交付行为”。

领域适配要先判断缺口属于“语言与行为模式”还是“可更新事实”。继续预训练适合吸收领域语料分布，SFT 适合塑造任务行为，RAG 适合提供可追溯且频繁变化的知识；三者可以组合，但验收口径不同。

二、核心机制怎么工作

领域适配微调通常使用领域问答、流程示例、专业写作样本和错误示范来调整模型输出分布。它适合沉淀稳定行为和风格，但对频繁变化的事实知识不如 RAG 灵活，因此训练前要区分哪些能力应写进权重，哪些知识应外部检索。

继续预训练用无监督 next-token 目标调整领域词汇与表达，SFT 用指令答案对学习输入输出映射。两者都会改参数，因此需要混入通用数据、降低学习率并做能力回归；RAG 不改参数，却依赖检索召回和证据质量。

三、带数字的拆解

医疗客服模型若只有 5000 条术语解释，可能会变得像百科；加入 3000 条分诊问答、1000 条拒答边界、1000 条对话澄清和 500 条评测案例后，才更接近可上线系统。

领域样本 = 高频任务 + 边界案例 + 反例 + 输出规范
上线收益 = 任务成功率提升 - 幻觉/合规风险增加 - 训练维护成本
知识更新频率高 => 优先 RAG；行为格式稳定 => 可考虑微调

四、流程图和工程落点

可以把它拆成下面这条链路来讲：

定义领域任务
   |
拆分知识、流程、风格、边界
   |
构造训练集与保留评测集
   |
小规模实验
   |
错误分析
   |
数据迭代与上线监控

五、和相近方案怎么区分

方案	主要改变	适合内容
通用 SFT	指令跟随和格式	通用助手行为
领域适配	专业语境下的行为	稳定任务和表达规范
RAG	可更新外部知识	政策、文档、产品资料
规则系统	确定性边界	合规、权限、流程控制

六、上线或训练时最容易踩的坑

• 不要把测试集混进训练集，否则看起来提升很大但上线无效。

• 领域专家只审术语不审任务流程，会漏掉真正影响体验的错误。

• 领域语料中的旧法规、内部缩写和错误结论会被参数化吸收，清洗时必须保留来源和时间。

• 只看领域术语命中率会高估效果，还要评估事实正确性、拒答边界和通用能力保持。

七、常见误区与追问

• 误区：领域适配就是继续预训练行业语料。 继续预训练只是选项之一；若目标是固定回答格式用 SFT，若目标是动态事实与引用则优先 RAG。
• 误区：模型说得专业就代表答得正确。 术语风格可以由微调学会，但专业措辞与事实正确性是两项指标，必须用权威答案单独验证。
• 误区：微调可以替代知识库更新。 参数更新周期长且难精确删除旧事实，频繁变化的政策、价格和库存更适合外部知识源。
• 追问：如何决定某个需求用 RAG 还是微调？ 需要可引用、可更新事实时选 RAG；需要稳定改变语气、格式或任务映射时选微调，并用小规模对照验证。
• 追问：领域微调如何避免灾难性遗忘？ 混入通用回放数据、使用较小学习率或 PEFT，并在通用基准和历史业务集上设置不可退化红线。
• 追问：评测集应该怎样覆盖边界场景？ 按领域子任务、时间新旧、罕见术语、冲突证据和越权请求分层，既测正确回答也测应拒答或应引用的情况。

八、加强记忆

记住“术语只是外衣，任务行为才是骨架”。领域适配要围绕真实工作流构造数据，而不是只让模型背行业词汇。

领域适配先分清三件事：领域语言用继续预训练，任务行为用 SFT，动态事实用 RAG。所有参数更新都要同时做领域增益与通用能力回归。