异常点会如何影响 SVM 的间隔？

简化版

软间隔 SVM 用松弛变量容忍异常点；C 大会强迫边界迁就离群点，C 小则允许其违约。异常值处理应结合标签核查、Robust Scaling、样本权重与验证，而非训练前盲目删除。

详细版

• 支持向量包括间隔边界点和违反间隔的点。

• 极端错误标签可能成为高影响支持向量。

• C 控制异常点拉动边界的能力。

• RBF 高 gamma 可为异常点形成局部小岛。

• 删异常点必须只依据训练数据与可解释规则。

完整版教学

一、异常点通过 hinge loss 与 C 拉动边界

落在正确间隔外的样本 hinge loss 为 0，不再影响 w；越过间隔的点才产生梯度。

线性 hinge 对违约近似线性增长，比平方损失温和，但高 C 和标签噪声仍会显著扭曲边界。

二、底层机制与公式

hinge_i=max(0,1-y_i f(x_i))
objective=0.5||w||²+C*sum hinge_i

三、带数字的推演

若 y f(x)=-4，hinge=5；C=100 时该点贡献 500，足以主导目标；C=0.1 时仅 0.5，更可能被当作可容忍异常。

四、方案对比

方案/对象	核心特点	代价或边界
降低 C	整体提高鲁棒性	可能欠拟合正常难例
样本权重	针对已知质量差异	权重依据需可靠
删除/修正标签	消除根因	误删真实少数模式

五、执行流程

检查高 hinge/支持向量 -> 回看标签与来源 -> 比较缩放/权重/C
-> 按异常切片验证 -> 保留处理规则与审计记录

六、边界条件与工程代价

异常点可能是未来重要的新模式，删除会掩盖分布漂移；应区分数据错误与真实长尾。

基于全量含测试数据定义 outlier 阈值会泄漏，异常检测器也要在训练折拟合。

记忆钩子：异常点影响 SVM 的通道是 hinge×C。

七、常见误区与追问

• 误区：SVM 天然完全不怕异常值。 软间隔仅允许折中，影响由 C 决定。

• 追问：哪些点影响边界？ 支持向量和间隔违约点。

• 误区：离群点都应删除。 可能是真实稀有业务模式。

• 追问：RBF 为何更易包住异常点？ 高 gamma 可形成局部复杂边界。

• 追问：如何定位？ 看 hinge、dual coefficient、支持向量并回查数据。

八、加强记忆

异常点影响 SVM 的通道是 hinge×C。

先查它是错数据还是长尾，再决定降 C、降权、修正或保留。