SVR 支持向量回归的基本思想是什么？

简化版

SVR 使用 ε-insensitive loss：绝对残差不超过 ε 时损失为 0，超出部分线性计入，C 控制违约相对正则项的代价。增大 ε 通常会减少有损失的样本并可能减少支持向量，但数量并非对所有退化数据严格单调；同时偏差可能上升。ε 与目标同量纲，核和 gamma 决定非线性表示。

详细版

• 管道内样本通常不会成为支持向量。

• C 控超管道误差代价。

• ε 使用目标变量单位，目标缩放会改变其含义。

• 异常值仍可通过大 C 影响边界。

• 预测区间不是 SVR 默认输出。

完整版教学

一、ε 管道把小误差视为同样可接受

回归中无需为微小噪声逐点拟合。

SVR 在预测函数周围建立宽 2ε 的管道，只让超出的残差产生损失。

这产生稀疏解：只有管道边界或外部样本的对偶系数非零，推理成本取决于这些支持向量。

二、底层机制与公式

L_epsilon=max(0,|y-f(x)|-epsilon)
min 0.5||w||²+C*sum L_epsilon

三、带数字的推演

ε=0.5：残差 0.3 的损失为0，残差1.2的损失为0.7。

若 C=10，后者对目标贡献 7；提高 ε 会减少或保持每个样本的 ε-insensitive 损失，支持向量数通常也会下降，但受最优解退化和其他参数影响。

四、方案对比

方案/对象	核心特点	代价或边界
小 ε	拟合精细	支持向量多、易追噪声
大 ε	稀疏稳健	偏差增加
大 C	强罚超管道误差	异常值敏感

五、执行流程

缩放 X/必要时 y -> 联合搜索 C/epsilon/gamma -> 时间/分组 CV
-> 报 MAE/RMSE 与支持向量数 -> 反变换预测 -> 独立测试

六、边界条件与工程代价

若 y 标准化，ε=0.1 表示 0.1 个标准差而非原业务单位；上线解释要反换算。

SVR 输出点预测，不自动提供置信区间；需 conformal、bootstrap 等额外方法。

记忆钩子：SVR 记成“±ε 内不计较，越界才按距离罚，C 决定罚多重”。

七、常见误区与追问

• 误区：ε 是允许的最大预测误差。 超出 ε 仍允许，只是开始受罚。

• 追问：ε 如何影响稀疏性？ 管道更宽时更多样本对解无贡献。

• 误区：SVR 天然给预测区间。 ε 管道是训练损失，不是统计置信区间。

• 追问：C 做什么？ 控制超管道误差的惩罚强度。

• 追问：为什么缩放 y？ 让 ε/C 搜索在稳定量纲上，但需保留反变换。

八、加强记忆

SVR 记成“±ε 内不计较，越界才按距离罚，C 决定罚多重”。

ε 是损失死区，不是预测区间。