离线指标和线上指标不一致怎么办？

简化版

离线指标在历史标签上快速比较模型，线上指标衡量真实用户、系统反馈和业务收益。两者不一致常来自选择偏差、策略改变数据、延迟/交互效应和指标代理错位；上线前需建立映射，最终靠受控实验验证。

详细版

• 离线数据只覆盖旧策略曾曝光的样本。

• 线上延迟和失败率会抵消模型精度。

• 推荐模型改变曝光后会改变后续标签分布。

• 短期点击提升可能伤害长期留存。

• A/B 测试也需离线安全 Gate 作为前置。

完整版教学

一、离线相关性不等于线上因果收益

离线测试假设样本分布固定，但模型上线后会改变谁被推荐、审核或拒绝，形成反馈回路。

线上 A/B 随机化可测策略整体因果效果，却成本更高且有风险；两者是筛选与确认关系。

影子流量位于两者之间，能暴露特征缺失、延迟和资源问题，但由于不改变用户决策，仍不能证明业务收益。

二、底层机制与公式

offline delta -> predictor of online effect, not proof
net online value=quality gain-system cost-user response

三、带数字的推演

模型离线 NDCG 提升 3%，但推理 P99 增加 200ms，线上点击反降 1%。

离线只测排序，未计等待导致的流失。

四、方案对比

方案/对象	核心特点	代价或边界
离线回放	快、可重复	旧策略偏差
影子测试	测系统与分布	不改变用户决策
A/B 测试	测线上因果效果	成本、周期和风险高

五、执行流程

离线质量/切片 Gate -> 影子流量验证特征/延迟 -> 小流量 A/B
-> 主指标+护栏 -> 分析离在线相关 -> 更新离线代理

六、边界条件与工程代价

反事实评估可用 IPS 等修正曝光偏差，但依赖 propensity 和重叠假设，不能无条件替代实验。

线上指标标签可能延迟，实验时长必须覆盖行为周期，避免新奇效应与周周期。

记忆钩子：离线负责“低成本筛选”，影子负责“系统验真”，A/B 负责“因果确认”。

七、常见误区与追问

• 误区：离线提升必然带来线上提升。 系统成本与用户反馈可能反向。

• 追问：影子测试能测业务效果吗？ 不改变决策，主要验证系统和分布。

• 误区：A/B 好就无需离线测试。 离线 Gate 能拦截明显风险并支持快速迭代。

• 追问：为何旧日志有选择偏差？ 只记录旧策略展示/批准后的结果。

• 追问：如何改善离线指标？ 用历史实验建立其与线上收益的相关性并调整口径。

八、加强记忆

离线负责“低成本筛选”，影子负责“系统验真”，A/B 负责“因果确认”。

三层指标的差异本身就是需要持续学习的数据。