微调模型应该如何评估、保存和上线？
简化版
微调验收要同时比较目标任务、通用能力、安全、稳定性、延迟和成本，不能只看训练 loss。上线时必须绑定基座版本、Tokenizer、Chat Template、Adapter 和训练配置，并通过离线回归、灰度监控和可回滚版本管理控制风险。
详细版
完整流程包括：
- 训练前保存基座 Prompt 基线；
- 使用严格隔离的测试集比较任务正确率；
- 回归通用能力、安全、拒答和格式指标；
- 按长度、语言、难度和风险类型分析失败；
- 记录随机种子、数据版本、代码、超参数和依赖；
- Adapter 保存基座模型 ID、revision、Tokenizer 与模板；
- 比较合并和未合并部署的质量、延迟与运维成本；
- 小流量灰度，监控严重错误并保留回滚路径。
若训练数据参与了测试集构造或反复调参，测试结果会被污染，需要另设最终验收集。
完整版教学
记忆钩子：上线对象不是单个 Adapter，而是一组可复现、可回归、可回滚的版本契约。
一、训练 loss 说明不了什么
loss 只表示模型更能预测训练目标 token。它不能直接证明事实更正确、用户更满意、安全性更高，也无法发现测试泄漏和模板记忆。
评估必须对应业务成功标准。
二、建立多层指标
目标任务可使用准确率、F1、代码测试、Schema 校验或人工 rubric；生成任务还要看事实支持、指令遵循和严重错误率。系统指标包括首 token 延迟、吞吐、显存和单请求成本。
平均分会掩盖高风险失败，应按场景分桶并保存具体失败案例。
三、与哪些基线比较
至少比较原始基座、优化 Prompt、RAG/工具方案和微调候选，才能判断收益究竟来自权重更新还是更好的上下文。微调内部还应比较不同数据版本、训练步数和 Adapter 配置，并保持解码参数一致。若候选只在训练分布上领先、挑战集和线上切片无收益，就不能把基座本来会的能力算成微调贡献。
四、Adapter 为什么必须绑定基座
LoRA 保存的是相对某个权重的增量。基座 revision、层名、Tokenizer 或词表不同，轻则效果下降，重则无法加载。模型卡中应记录这些依赖以及 Chat Template。
五、合并还是动态加载
合并 Adapter 可简化单任务推理路径；动态加载便于共享基座和切换任务。合并后若再量化，要重新做质量评估，因为合并与量化顺序会影响误差。
多租户动态 Adapter 还要验证路由隔离，防止请求使用错误 Adapter。
六、上线后的监控
灰度阶段记录任务成功率、拒答率、格式失败、延迟和用户反馈。监控输入分布变化，但日志必须脱敏并遵守数据保留政策。
严重回归应自动停止放量或回滚，线上失败样本经审核后再进入下一轮训练。
七、用发布门禁选择 Checkpoint
假设基座任务成功率 68%、安全通过率 98%、P95 延迟 220 ms。候选微调模型任务成功率升到 78%，但安全通过率降到 93%、延迟升到 310 ms；若发布门槛要求安全不低于 97%、P95 不高于 260 ms，它仍不能上线。目标指标提升不能抵消硬门槛失败。
| 指标 | 基座 | 候选 | 门槛 | 结论 |
|---|---|---|---|---|
| 任务成功率 | 68% | 78% | ≥75% | 通过 |
| 安全通过率 | 98% | 93% | ≥97% | 失败 |
| P95 延迟 | 220ms | 310ms | ≤260ms | 失败 |
release = base_revision + tokenizer + template + adapter/weights
+ quantization + runtime + evaluation_report发布包需绑定基座 revision、tokenizer、模板、adapter、量化配置和推理引擎版本。先做离线回归与数值对齐，再灰度观察真实分布，保留可一键回滚的上一版本；否则“权重文件保存成功”不等于可复现部署。
八、常见误区与追问
- 误区：验证 loss 最低的 checkpoint 就最适合上线。 loss 不直接覆盖任务成功、安全、格式和延迟，应按多指标门禁选择。
- 追问：为什么 Adapter 必须绑定基座 revision？ 同名模型的权重、模块结构或 tokenizer 变化都可能让低秩增量失去对应关系。
- 追问：Merge 后如何验证？ 对固定输入比较 logits/输出容差，再跑完整能力、安全和性能回归。
- 误区：灰度只观察错误率。 还要看切片质量、拒答、延迟、显存、token 长度和用户负反馈。
- 追问：回滚包应包含什么？ 完整模型/adapter、tokenizer、模板、量化参数、引擎配置和版本化评测报告。
九、加强记忆
微调交付物不是一个 Adapter 文件，而是基座 revision、Tokenizer、模板、权重、量化与引擎配置的完整版本。选择 checkpoint 要让任务收益过线，同时安全、通用能力和延迟等硬门槛不退化；上线前做数值与行为回归，上线后灰度监控。任何版本都必须带评测报告和可执行回滚路径。