什么是数据分布漂移？如何识别和应对？
简化版
分布漂移是训练数据与线上数据的联合分布不再一致。常见拆分包括：协变量漂移侧重 P(X) 变化且 P(Y|X) 近似不变；标签漂移侧重 P(Y) 变化且 P(X|Y) 近似不变；概念漂移是 P(Y|X) 变化。PSI、KS、缺失率只能提示输入变了，不能证明模型性能下降；最终必须结合延迟标签、业务指标和人群切片判断，并按根因选择重加权、阈值校准、重训或降级。
详细版
先固定训练基线、当前时间窗、模型版本与业务人群，再分层监控输入特征、预测分数和有标签性能。P(X) 变化可即时预警，P(Y) 与 P(Y|X) 往往要等待真实标签；漂移不必然有害，例如无关特征变化可能不影响任务，而概念变化即使输入边际稳定也会让模型失效。
处置必须满足假设：只有协变量漂移且条件关系稳定时，按密度比做重要性加权才合理；标签漂移可在相应假设成立时校正先验与阈值；概念漂移通常需要新标签、重训或更换特征。季节性应进入动态基线，告警要能回到具体特征、渠道和失败样本。
输入/分数预警 -> 按时间与人群切片 -> 等待标签确认性能
-> 判断漂移类型与业务影响 -> 校正/重训/降级 -> 回归验证完整版教学
一、先从联合分布定义问题
监督学习依赖训练分布与部署分布足够接近。若训练时是 P_train(X,Y)，线上变成 P_prod(X,Y)，模型在训练集上成立的经验风险就不一定代表线上风险。变化可能来自用户构成、采集设备、产品规则、营销活动或对手策略。
“数据漂移”常被泛指所有变化，但排障时必须问：是输入边际、类别先验，还是输入到标签的映射变了？三者需要的观测信号和修复方法不同。只报一个 PSI 红灯无法回答这个问题。
二、三类漂移的条件假设
| 类型 | 主要变化 | 常用假设 | 例子 |
|---|---|---|---|
| 协变量漂移 | P(X) 变化 | `P(Y | X)` 近似不变 |
| 标签漂移 | P(Y) 变化 | `P(X | Y)` 近似不变 |
| 概念漂移 | `P(Y | X)` 变化 | 旧映射失效 |
现实中可能多种变化同时发生，上表是便于建模的分解，不保证真实系统恰好满足。标签漂移不只是“观察到正类比例变了”；使用先验校正前，还需验证类条件分布近似稳定。概念漂移最难，因为 X 的直方图可以不变，而标签规则已经变化。
记忆钩子：
P(X)是“来了什么样的人”，P(Y)是“结果比例多少”，P(Y|X)是“同样的人现在会得到什么结果”。
三、无标签阶段能监控什么
线上通常先拿到输入和模型分数，真实标签可能几天或几个月后才回来。此时可监控特征缺失率、未知类别率、取值范围、分位数、PSI、KS、模型分数分布和数据质量规则。多变量漂移还可训练“训练集 vs 线上集”分类器，观察两批样本是否容易区分。
PSI 的常见形式是：
PSI = Σ_i (actual_i - expected_i) * ln(actual_i / expected_i)它依赖分箱、样本量和零频处理，不存在跨业务通用的神奇阈值。KS 比较单变量经验分布，也会在大样本下对很小差异显著。两者都是预警信号，不是性能下降或概念漂移的证明。
四、标签回来后怎样确认影响
标签到达后要计算与上线任务一致的损失、AUC/PR-AUC、校准误差、召回和业务成本，并按渠道、地区、设备、模型版本与时间切片。汇总指标稳定可能只是一个群体改善抵消另一个群体恶化。还要区分标签本身延迟、缺失或定义变化造成的假漂移。
例如训练期正类率 10%，线上观测为 25%。这只能说明 P(Y) 变了；如果正负类内部的 P(X|Y) 也变了，单纯按新先验校正概率会错。需要比较类条件特征、校准曲线和各切片误差，再决定是阈值问题还是模型映射失效。
五、处置方法要匹配漂移类型
协变量漂移且支持集有足够重叠时，可估计密度比 w(x)=p_prod(x)/p_train(x) 做重要性加权；权重极端会显著增大方差，因此需裁剪并检查有效样本量。标签漂移在类条件稳定时可估计新先验并校正输出。概念漂移通常要采集新标签、滑动窗口重训或引入能反映新机制的特征。
短期措施可包括回退稳定模型、收紧自动决策、切规则或转人工。调阈值只能改变决策点，不能修复排序关系已经反转的模型。若线上出现训练从未覆盖的输入区域，任何重加权也无法凭空创造标签，应优先补数据。
六、季节性与漂移怎样区分
周末、节假日和促销造成的周期变化若已知，应使用同期或季节性基线，而不是永远与全年均值比较。否则每次春节都会触发相同误报。真正值得关注的是超出已知季节范围、持续时间异常或伴随性能恶化的变化。
可以维护“上周同期、去年同期、最近稳定窗口”多条基线，并把发布、数据管道和业务活动标记叠加到时间线上。这样能区分自然流量结构变化、特征计算故障和模型退化。
七、监控与验证闭环
一次可执行的闭环应记录数据版本、特征管道、模型版本、阈值、时间窗和切片。输入告警后先查数据质量与发布变更，再等待标签验证，最后按漂移类型处置。新模型不能只在当前漂移窗口胜出，还要在历史稳定期和关键风险切片回归。
假设线上 100 万请求中，渠道 A 占比从 20% 升到 50%，该渠道 AUC 仍为 0.82，其他渠道也稳定，那么全局 P(X) 明显变化但模型未必失效。若同一渠道 AUC 从 0.82 降至 0.60，即使全局 PSI 较低，也应优先调查概念或标签流程变化。
八、常见误区与追问
- 误区：PSI 超过固定值就必须重训。 PSI 依赖分箱与样本量，应结合任务性能、切片和业务影响校准门槛。
- 误区：输入分布没变就没有漂移。
P(Y|X)可以变化而P(X)近似不变，这正是概念漂移的难点。 - 误区：任何漂移都会降低性能。 无关特征或模型鲁棒区域发生变化，任务指标可能不受影响。
- 追问：为什么概念漂移通常需要标签？ 因为要验证相同
X下Y的条件关系是否改变，仅看输入无法确定。 - 追问：何时可以做重要性加权？ 目标主要是协变量漂移、条件关系稳定且训练与线上支持集有重叠时。
- 追问：先调阈值还是重训？ 先判断排序与校准谁变了；只基准率/成本变化可调阈值，映射失效通常要新数据重训。
九、加强记忆
把漂移记成“输入变、先验变、映射变”：P(X) 变化可用分布统计提前预警，P(Y) 变化要核验标签先验，P(Y|X) 变化说明旧概念可能失效。PSI、KS 和分数分布只负责报警，延迟标签和业务损失负责定案。处置必须匹配假设：协变量漂移才谈重加权，类条件稳定才谈标签先验校正，概念漂移多半需要新标签与重训；全过程按人群切片、绑定版本并保留回滚。