损失函数与评估指标不一致时怎么办？
简化版
训练需要连续、可微且稳定的 surrogate loss，而业务可能关心 F1、NDCG、利润等不可微指标；应验证代理损失改善是否真的推动目标指标。
回答时应把“可优化代理目标与业务评价目标的对齐”讲清，再说明如何验证和落地；关键边界是：直接把不可微指标硬写进梯度训练常常不稳定；只盯 loss 会优化出业务无收益的模型。
详细版
训练损失必须可微且梯度稳定，业务指标却可能是 F1、Top-K 收益或受容量约束的成本，两者天然不完全相同。代理损失只有在改善能推动目标指标时才有效；Loss 下降而业务指标变差，是目标错配而非“尚未收敛”。
实践中先用交叉熵或排序损失学习分数，再在独立验证集选择阈值、重排或容量策略。模型选择同时展示 Loss 与真实目标曲线，最终用时间外数据和线上实验确认用户行为，而不是把代理指标当成果。
完整版教学
一、问题本质与使用动机
训练损失通常只是业务目标的可优化代理；面试回答要说明代理为何与最终动作同向，以及失配时如何定位。
交叉熵是分类错误率的分类校准代理损失，但有限数据、模型失配和阈值约束会让二者不同步。排序任务中的 pointwise loss 与 NDCG 也存在位置权重差异。
可用样本加权、pairwise/listwise loss 或可微近似拉近目标；仍需保留真实业务指标做最终选择，避免代理被钻空子。
二、机制与数学表达
从训练到上线至少要经过三层：
train surrogate loss -> tune decision rule -> evaluate business metric直接把不可微指标硬写进梯度训练常常不稳定；
三、带数字的推演
例如模型 A 的 logloss 从 0.42 降到 0.39，但固定阈值下 F1 从 0.71 降到 0.68；重新按验证集成本选阈值后 F1 回到 0.73，说明部分错配发生在决策层。
应同时画训练 loss、验证目标指标和阈值曲线。如果 loss 持续下降而业务指标拐头，应检查早停、样本权重和代理目标，而不是默认继续训练。
四、从数据到上线的执行流程
一条完整的目标对齐链路是：
业务动作与成本 → 选择代理损失 → 训练模型 → 验证集调策略 → 线上实验先把业务代价写成指标与约束，再选择有理论或经验一致性的代理损失；训练后独立调阈值或重排，并用离线切片和在线实验确认。
损失版本、样本权重、阈值和评估代码要一起版本化。线上实验用于检验真实用户行为，因为离线数据无法覆盖所有系统反馈。
五、方案对比与选择边界
| 层次 | 典型量 | 职责 |
|---|---|---|
| 训练 | 交叉熵/排序损失 | 提供稳定梯度 |
| 验证 | F1/Top-K/成本 | 选择模型与阈值 |
| 线上 | 真实收益与副作用 | 确认业务因果效果 |
三层指标各有职责，线上收益不能反过来掩盖安全或公平护栏退化。
六、错配通常发生在哪一层
第一类是样本权重错配：训练按每条样本等权，业务却认为一次漏检损失是误报的 20 倍。第二类是决策错配：模型学概率，线上却用未经验证的 0.5 阈值或固定 Top-k。第三类是反馈错配：离线标签只反映点击，真实目标是长期留存，模型可能优化诱导点击。
修复顺序是先定义动作和成本，再决定损失、采样与阈值。若只需改变误报/漏报权衡，验证集调阈值往往比重训更简单；若排序本身错误或关键样本在训练中权重不足，才需要加权、pairwise/listwise 目标或重新采集标签。
七、怎样验证代理目标真的有效
对每个候选版本同时绘制 surrogate loss、目标指标、校准和关键切片，不只选最低 loss。阈值必须在验证集选择，测试集只做最终确认；频繁试验还应防止对测试集过拟合。上线后通过随机实验验证业务因果效果，并设置安全、延迟与群体指标护栏。
例如 A 的 logloss 0.39、F1 0.68，B 的 logloss 0.41、F1 0.72。若业务明确以当前分布下的 F1 为主，不能因 A 的 loss 更低就自动胜出；也应重新调两者阈值，排除只是固定阈值不合适。
训练损失是可优化代理，业务指标是决策目标；二者的映射必须通过验证集操作点和线上实验证明。
八、常见误区与追问
- 误区：训练 loss 更低的模型必然更好。 Loss 是代理目标，最终应按独立业务指标和护栏选择。
- 误区：F1 不可导就完全无法优化。 可用分类校准代理、可微近似或结构化损失，但仍需真实 F1 验收。
- 误区：重新训练是唯一办法。 很多错配来自阈值、Top-k 或容量约束，可在决策层修正。
- 追问：何时使用样本权重？ 不同样本的业务代价或目标分布不同，且权重可可靠估计时。
- 追问：Loss 降而 F1 降说明什么？ 可能是概率置信度改善但阈值不合适，也可能是代理与目标错配，应先重调阈值和分桶分析。
- 追问：线上指标为何还可能不同？ 用户反馈、曝光选择、延迟与系统交互不在离线静态数据中，需随机实验确认。
九、加强记忆
Loss 是训练方向盘，业务指标才是目的地。先证明代理损失与目标指标同向，再把阈值、排序和容量留给决策层；两条曲线分叉时应停训查目标，而不是继续压 Loss。