什么是训练—服务偏差？如何排查？
简化版
同一业务实体在训练与服务阶段得到不同特征值、默认值、窗口或预处理逻辑，就会产生 train-serving skew；模型本身不变也会导致线上退化。
回答时应把“离线训练特征与线上推理语义不一致”讲清，再说明如何验证和落地；关键边界是：只对比字段名和 schema 不够，时间语义与编码词典也可能不同；用线上标签评估太慢，特征一致性必须先监控。
详细版
训练—服务偏差指同一业务实体在离线训练和在线推理得到不同特征语义。常见根因包括两套转换代码、时区窗口、默认值、类别词典和迟到数据；Schema 一致只能保证形状，不能证明数值含义一致。
最可靠的控制是用同一特征定义生成离线和在线产物，并保存线上原始输入与最终特征做请求回放。若无法共享执行引擎，就建立黄金样本契约测试，监控空值、未知类别和逐字段差异，并准备关闭高风险特征的回退。
完整版教学
一、问题本质与使用动机
Train-serving skew 是同一实体、同一时点在离线和在线得到不同模型输入；它属于实现或数据语义不一致，不等同于自然分布漂移。
skew 可来自代码双实现、时区窗口、默认值、类别字典和数据新鲜度。schema 相同只保证形状，不保证语义一致。
最佳做法是同一转换定义生成离线和在线产物；无法共享执行引擎时，用黄金样本契约测试与持续回放控制差异。
二、机制与数学表达
可按字段定义允许误差后的不一致率：
skew_rate = count(|x_train_replay-x_online|>ε) / count(samples)只对比字段名和 schema 不够，时间语义与编码词典也可能不同；
三、带数字的推演
例如离线统计近 7 天点击为 12，线上窗口因时区偏移只统计到 9；若 30% 用户受影响，分数分布就可能明显偏移。
排查时采样线上请求并保存原始输入和最终特征，离线按训练逻辑重算，逐字段比较绝对误差、类别一致率与缺失来源。
四、从数据到上线的执行流程
预防和排查链路可以设计为：
统一特征定义 → 生成离线/在线产物 → 黄金样本对账 → 请求回放 → 异常特征降级共享特征定义或 Feature Store，保存线上请求与特征快照，做离线回放逐字段 diff，并监控缺失率、分位数和预测差异。
看板按特征展示 skew rate、缺失率、延迟和分数差，发布前设置阻断门槛；异常时按预案关闭高风险特征或回滚模型。
五、方案对比与选择边界
| 偏差来源 | 示例 | 检测方式 |
|---|---|---|
| 转换双实现 | 归一化公式不同 | 黄金样本契约 |
| 时间语义 | UTC 与本地窗口 | 边界时点回放 |
| 默认与词典 | 未知类别编码不同 | 逐字段 Diff |
三类根因需要不同修复，字段形状一致不能替代逐值语义对账。
六、如何沿请求逐层排查
固定一个线上 request_id，先保存当时的原始输入、event/available time、特征服务版本和最终特征向量；在隔离环境用训练 pipeline 对同一时点重算。差异应按“取数、窗口聚合、转换、默认值、编码、模型输入顺序”逐层定位，而非只比较最终分数。
浮点实现允许设置业务容忍度，类别 ID、布尔值和窗口计数通常应精确一致。若某字段线上缺失，先判断源数据未到、缓存陈旧、超时降级还是词典未知；不同根因不能都用 0 填充后隐藏。
七、预防与上线门禁
优先使用同一声明式特征定义和版本化变换生成离线、在线产物。确实需要两套执行引擎时，维护包含时区边界、空值、未知类别和迟到事件的黄金样本，并在每次变更中双跑对账。模型 manifest 绑定 feature schema、词典和默认策略。
线上全量记录轻量统计，抽样保存可审计特征快照；监控逐字段分位数、缺失率、未知率、skew rate 和预测分差。高风险特征异常时可关闭该特征、使用已验证默认或回滚整套模型，具体回退必须在训练时演练。
线上线下一致性必须比较模型实际收到的向量及其时间版本，只比较源表字段不足以证明没有偏差。
八、常见误区与追问
- 误区：Schema 一样就没有 skew。 同类型字段仍可能窗口、时区、默认值或词典语义不同。
- 误区：线上分数下降一定是模型漂移。 特征服务错误可在模型不变时造成同样现象。
- 误区：等标签回来再看就够了。 标签可能延迟很久，特征一致性必须实时/近实时监控。
- 追问：Feature Store 能彻底消除 skew 吗？ 能减少双实现，但版本、时间点查询和新鲜度错误仍需测试。
- 追问：为什么保存 raw input 和 final features？ 前者可重算，后者能定位当时实际喂给模型的值。
- 追问：异常如何回退？ 使用训练时验证过的默认/缺失路径、禁用特征或回滚模型，不能临时猜值。
九、加强记忆
同名、同类型不代表同语义；要对同一实体、同一时点逐字段比较离线与在线值。共享转换定义是首选，黄金样本和请求回放是兜底，标签到来前就应发现 Skew。