什么是数据泄露（Data Leakage）？怎么避免？

简化版

数据泄露（Data Leakage） 指训练时模型用到了本不该在预测时能拿到的信息，导致离线评估好得离谱、上线却翻车。两大类：目标泄露（特征里混进了目标本身或其代理，如用「是否已还款」预测「是否违约」）和训练-测试泄露（预处理统计量在划分数据前用了全量数据、或用未来信息预测过去）。核心症状是离线指标高得不真实。避免关键：先划分数据、所有预处理只在训练集 fit、用 Pipeline、时间序列按时间切分、警惕来自未来/目标的特征。

详细版

两大类泄露：

类型	表现	例子
目标泄露	特征包含目标信息或其代理	用「实际住院天数」预测「是否重病」；用「退款金额」预测「是否退款」
训练-测试泄露	测试集信息渗入训练	划分前对全量数据做标准化/填充/编码；交叉验证外做特征选择
时间泄露	用未来预测过去	用「未来 7 天均值」当特征预测今天

典型泄露来源：

预处理（标准化、缺失填充、Target Encoding、分箱）在划分数据集之前用全量算统计量。
特征选择 / 调参在交叉验证外部用全量数据做。
特征是目标的下游产物（发生在目标之后才能得到）。
ID、时间戳等泄露了样本顺序/分组信息。

避免核心： 严格「先分再处理」、所有 fit 只在训练折、放进 Pipeline、时序按时间切、对每个特征问「预测时刻真能拿到吗」。

完整版教学

一、数据泄露的本质：模型偷看了「预测时拿不到的信息」

机器学习的目标是学到能泛化到未来未知数据的规律。数据泄露就是：训练阶段，模型（直接或间接）用到了在真实预测时刻根本不可能获得的信息。 结果是模型在离线测试上表现优异（因为测试也带着这些「作弊信息」），一旦上线面对真正的未知数据，作弊信息消失，性能断崖下跌。

它的危险在于隐蔽：不会报错、不会崩，反而给你一份漂亮的评估报告，让你误以为模型很强，直到上线才暴露。「离线指标好得不真实」是数据泄露的头号警报。

二、第一类：目标泄露——特征里藏着答案

特征中包含了目标本身、或只有在目标发生之后才能得到的信息。

经典例子：

用「是否已理赔」来预测「是否出险」——理赔是出险的结果，等于把答案当特征。
预测「用户是否会退款」，却用了「退款金额」当特征——退款金额只有退了款才有，是目标的下游产物。
预测「病人是否重症」，用了「住院天数 / 使用的特效药」——这些都是确诊重症之后才发生的。

怎么识别：对每个特征问一句——「在做预测的那个时间点，这个特征的值真的已经能拿到了吗？它会不会是目标发生之后才产生的？」凡是「目标的结果 / 代理 / 下游」，都要剔除。

三、第二类：训练-测试泄露——预处理时测试集渗进来

即使特征本身合法，预处理方式也可能让测试集信息渗入训练，最常见、最隐蔽：

（1）在划分数据集之前做预处理。 比如先对全量数据做标准化：

# ❌ 泄露：μ/σ 用到了测试集
scaler.fit(X_all); X = scaler.transform(X_all)
train, test = split(X)

# ✅ 正确：先分，再只在训练集 fit
train, test = split(X)
scaler.fit(X_train)
X_train = scaler.transform(X_train)
X_test  = scaler.transform(X_test)   # 用训练集的 μ/σ

标准化、缺失值填充（均值/中位数）、Target Encoding、分箱、PCA、特征选择——所有需要从数据估计参数的步骤，都必须只在训练集上 fit，否则测试集的分布信息就泄露进了训练。

（2）特征选择 / 调参放在交叉验证外部。 如果先用全量数据选特征或调超参，再做交叉验证，那么「哪些特征好」这个决定已经偷看了全部数据（含验证折），评估必然虚高。正确做法是把特征选择、预处理放进 Pipeline，让交叉验证的每一折内部独立完成 fit。

四、第三类：时间泄露——用未来预测过去

在时间序列 / 有时序含义的数据里，特征绝不能包含目标时刻之后的信息：

预测「今天的销量」，却用了「本周平均销量」——本周均值含了今天及以后的数据。
用随机划分做时序数据的训练/测试——会把未来样本混进训练集，让模型「见过未来」。

正确做法：按时间切分（训练用过去、测试用之后），所有滑动统计特征只用「截止预测时刻之前」的数据，滚动/前向计算。

五、还有哪些隐蔽来源

ID / 索引泄露：样本 ID 恰好和目标相关（如按类别顺序编号），模型学到了 ID 规律。
重复样本跨越训练/测试：同一实体的多条记录被分到训练和测试两侧，等于测试时见过。要按实体/组划分（GroupKFold）。
数据快照时间不一致：不同特征取自不同时间点，某些特征「超前」于目标。
归一化/去重/异常处理在全量上做的任何一步，都可能泄露。

六、系统性避免清单

先划分，后处理：任何预处理之前先切出测试集，测试集在建模全程「装作不存在」。
所有 fit 只在训练集：填充、缩放、编码、选择、降维的参数只从训练数据估计。
用 Pipeline 封装：把预处理 + 模型串成 Pipeline，交叉验证时每折自动只在训练部分 fit，从机制上杜绝泄露。
时序按时间切分，用 TimeSeriesSplit，特征不含未来。
按组划分防同实体跨集（GroupKFold）。
逐特征审问：预测时刻能否拿到？是否目标的下游？
对异常好的结果保持怀疑：AUC 0.99 先别高兴，先查泄露。

七、用数字和工程流程校验理解

预测患者入院时风险，却使用“出院用药”作为特征，离线 AUC 可能从 0.75 升到 0.95，但上线时该字段尚不存在，这属于目标/时间泄露。另一类是先用全量 10000 条数据做标准化再切分，让测试统计量进入训练。

对象/方案	核心机制	选择或风险
目标泄露	特征直接或间接包含答案	按预测时点做可用性审计
切分泄露	预处理在全量数据 fit	Pipeline 仅在训练折拟合
主体/时间泄露	同用户或未来数据跨集合	Group/Time split

把面试题落到可执行流程：

define prediction timestamp
list features available at that moment
split by entity/time before fitting transforms
reproduce online feature pipeline offline

高得异常的离线分数不是好消息，首先检查特征产生时间、重复实体和预处理 fit 范围。

八、常见误区与追问

误区：只要测试标签没有直接进入训练就不存在泄露。 测试特征统计量、未来信息和同一主体重复记录都可能造成泄露。
误区：交叉验证会自动阻止所有泄露。 若预处理在 CV 外先 fit，或分组方式错误，交叉验证仍会给出乐观结果。
追问：Target Encoding 如何防泄露？ 训练样本使用 OOF 编码，验证和测试映射只由相应训练数据计算。
追问：时间序列为什么不能随机切分？ 随机切分可能用未来模式预测过去，违背实际部署时的信息顺序。
追问：泄露和过拟合有什么区别？ 过拟合是在合法训练信息上学到偶然模式；泄露使用了部署时不可获得的信息。

九、加强记忆

记忆时抓住这条主线：数据泄露 = 模型用到了预测时刻本不该拥有的信息，症状是离线指标高得不真实、上线却崩。三类记牢：目标泄露（特征里藏着目标或其下游产物，如用「退款金额」预测「是否退款」）、训练-测试泄露（预处理/特征选择/调参在划分数据前或交叉验证外用了全量数据）、时间泄露（用未来信息预测过去、时序却随机划分）。避免六字诀是**「先分、只在训练集 fit、用 Pipeline」，再加时序按时间切、按实体分组、逐特征问「预测时真拿得到吗」、对好到离谱的结果先查泄露**。

简化版

详细版