异常值（离群点）怎么检测和处理？

简化版

检测离群点常用三类方法：统计法（3σ 原则、箱线图 IQR、Z-score）、距离/密度法（KNN 距离、LOF 局部离群因子、DBSCAN）、模型法（孤立森林 Isolation Forest、One-Class SVM）。处理要看离群点是「错误」还是「真实极端」：错误数据（录入错、单位错）该修正或删除；真实但影响模型的极端值可截断（Winsorize/Capping）、变换（log）、分箱，或干脆换用对离群点稳健的模型（树模型）和统计量（中位数）。核心原则：先判断异常值是不是错误，别一律删掉——有时离群点正是要抓的目标（如欺诈）。

详细版

检测方法：

类别	方法	思路	适用
统计	3σ 原则	偏离均值 3 个标准差外	近似正态、单变量
统计	箱线图 / IQR	落在 `[Q1-1.5IQR, Q3+1.5IQR]` 外	有偏态、抗离群
统计	Z-score	标准分绝对值过大	近似正态
距离/密度	LOF、KNN	邻域密度异常低	局部离群、多变量
模型	孤立森林	越容易被随机切分孤立越异常	高维、大数据
模型	One-Class SVM	学正常样本边界，界外为异常	无标签异常检测

处理方法：

删除：确认是错误数据、且量少时。
截断 / Capping（Winsorize）：超过阈值的拉回到分位数边界（如 1% / 99%）。
变换：log、Box-Cox 压缩长尾，弱化极端值影响。
分箱：把连续值离散化，极端值归入端点箱。
稳健建模：用树模型 + 中位数等对离群点不敏感的方案。

关键判断： 离群点 = 错误还是真实极端值？处理策略完全不同。

完整版教学

一、先分清：离群点是「脏数据」还是「真信号」

处理离群点最忌讳「一看到极端值就删」。要先判断它属于哪种：

错误型离群点：录入错误（年龄 999）、单位混用（有的以元有的以万元）、传感器故障。这类是噪声，应修正或删除。
真实型离群点：确实存在的极端个体（亿万富翁的收入、超大订单）。它是真数据，粗暴删掉会丢信息、引入偏差。
目标型离群点：在异常检测任务里（欺诈交易、故障告警、入侵检测），离群点正是我们要找的目标，删掉就等于删掉了标签。

所以第一步永远是结合业务判断「这个异常是错、是真、还是要抓的目标」，再决定动作。

二、统计检测法：3σ 与箱线图 IQR

3σ 原则（拉依达准则）：假设数据近似正态，约 99.7% 落在 [μ-3σ, μ+3σ] 内，之外的视为离群。

缺点：依赖正态假设；而且均值和标准差本身就被离群点带偏（离群点会抬高 σ，反而让自己显得没那么离群，即「掩盖效应」）。

箱线图 / IQR 法：用四分位数，IQR = Q3 - Q1，把落在 [Q1 - 1.5×IQR, Q3 + 1.5×IQR] 之外的点判为离群。

优点：基于分位数，不假设正态、对离群点稳健（分位数不像均值那样被极值拖动），偏态数据也能用。是单变量检测的常用默认方法。

三、距离与密度检测法：应对多变量与局部离群

单变量统计法看不出「多维组合下的异常」。例如「身高 1.5m」正常、「体重 100kg」正常，但「身高 1.5m + 体重 100kg」组合起来可能异常。这时要用多变量方法：

KNN 距离：到第 k 近邻的距离越大，越可能是离群点（周围很空）。
LOF（局部离群因子）：比较一个点的邻域密度和它邻居的邻域密度，密度显著低于邻居就是局部离群点。妙在能发现「在稀疏区域算正常、放到密集区域旁就异常」的局部离群，而全局阈值法做不到。
DBSCAN：聚类时无法归入任何簇的点自然就是噪声/离群点。

四、模型检测法：孤立森林与 One-Class SVM

孤立森林（Isolation Forest）：核心洞察是「离群点更容易被随机切分孤立」。随机选特征、随机选切分点不断切分空间，正常点淹没在稠密区、需要切很多刀才能孤立；离群点孤零零，几刀就被单独隔开。路径越短越异常。它对高维、大数据都高效，是工业界最常用的无监督异常检测之一。
One-Class SVM：只用「正常样本」学出一个包裹它们的边界，落在边界外的判为异常，适合只有正常样本、异常样本极少或无标签的场景。

五、处理手段：删、截、变、箱、稳健

确认了离群点性质后，选处理方式：

删除：仅当确认是错误数据、且占比很小。真实离群点别轻易删。
截断 / Capping（Winsorize，缩尾）：把超过上下阈值（如 1% 和 99% 分位）的值拉回到边界值，而不是删掉。既压制了极端影响，又保留了样本。

capping 前:  [..., 100万] （极端）
capping 后:  [..., 99分位值]  ← 拉回边界，样本保留

变换：对长尾/右偏数据做 log(x)、sqrt、Box-Cox，把大值压缩，极端值和主体的差距被缩小，同时往往让分布更接近正态。
分箱（离散化）：把连续特征切成若干区间，极端值统一归入最高/最低箱，天然弱化其数值影响。
稳健建模：换用对离群点不敏感的方案——树模型（按顺序切分，不受极值数值大小影响）、用中位数代替均值、用 MAE 代替 MSE 作损失（MSE 的平方会放大离群点误差）。

六、按模型敏感度决定要不要处理

离群点对不同模型影响差别很大：

敏感：线性回归（MSE 平方放大离群误差）、KNN/K-means（距离被极值主导）、PCA（方差被极值主导）、用均值的一切统计。→ 要认真处理。
不敏感：树模型及其集成（只看顺序）、基于中位数/分位数的方法。→ 可以少处理甚至不处理。

所以处理力度也要结合下游模型：用 XGBoost 时可能不用管离群点，用线性回归时就必须处理。

七、常见坑

别用被污染的统计量定阈值：3σ 里的 μ、σ 已被离群点带偏，优先用抗离群的 IQR / 中位数。
阈值/分位数只在训练集上算，套到测试集，防数据泄露。
异常检测任务里别删离群点：那是目标本身。
多个特征分别去离群 ≠ 多变量去离群：组合异常要用多变量方法。
删除后要重新审视样本量和分布，避免删出偏差。

八、用数字和工程流程校验理解

数据近似正态时，均值 100、标准差 10，3σ 规则把低于 70 或高于 130 的值标为候选异常；箱线图若 Q1=80、Q3=100，则 IQR=20，上界为 100+1.5×20=130。它们只是筛查规则，不自动证明数据错误。

对象/方案	核心机制	选择或风险
统计规则	Z-score、IQR、MAD	适合单变量且依赖分布假设
密度/距离	LOF、DBSCAN	识别局部异常但受尺度影响
模型方法	Isolation Forest、One-Class SVM	适合多维，仍需验证污染率

把面试题落到可执行流程：

detect candidate
 -> inspect source and business meaning
 -> correct/delete/cap/transform/robust model
 -> compare validation and tail metrics

先判断异常值是录入错误、采集故障、稀有但真实事件，还是目标风险信号；直接删除可能删掉最有价值的样本。

九、常见误区与追问

误区：超过 3σ 的样本一定应该删除。 3σ 依赖近似正态假设，长尾分布中真实样本可能大量超界。
误区：树模型对任何异常值都完全免疫。 特征极值对分裂相对不敏感，但标签异常、稀有分支和 boosting 残差仍可能受影响。
追问：MAD 为什么更稳健？ 中位数和绝对偏差对少量极端值的敏感度低于均值和标准差。
追问：Winsorize 是什么？ 把尾部值截到指定分位点或边界，保留样本数但改变尾部分布。
追问：异常检测如何避免泄露？ 检测阈值和模型仅在训练折拟合，再原样应用到验证、测试和线上。

十、加强记忆

记忆时抓住这条主线：处理离群点第一问是**「它是错误、真实极端、还是要抓的目标」**——错误才删，真实别乱删，异常检测里离群点就是目标。检测分三档：统计法（3σ 靠正态、IQR 箱线图抗离群更常用）、距离密度法（LOF/KNN 抓局部离群、多变量）、模型法（孤立森林「越易被孤立越异常」、One-Class SVM）。处理五招：删除、截断 Capping（拉回分位边界）、log 变换压长尾、分箱、稳健建模（树模型+中位数+MAE）。收尾三红线：别用被污染的均值定阈值、阈值只在训练集算、异常检测别删离群点。

简化版

详细版