大规模数据为什么较少直接用核 SVM？

简化版

经典核 SVM 训练和存储随样本数快速增长，大规模任务常改用线性 SVM、SGD/坐标下降、核近似或样本压缩。选型要看 n、d、稀疏度、非线性收益和支持向量推理成本。

详细版

• 核矩阵存储 O(n²)，求解常超二次。

• 高维稀疏文本通常线性边界已很强。

• RFF/Nyström 把核近似成显式有限维特征。

• 分块/在线优化牺牲精确对偶解换扩展性。

• 支持向量很多时推理也会变慢。

完整版教学

一、规模瓶颈来自样本对，而非只来自特征数

核技巧需要比较大量样本对，n 增大比 d 增大更危险。

线性 SVM 可直接在原特征上用稀疏乘法优化。

核近似先映射到 D 维，再训练线性模型，把预测从遍历支持向量变为一次点积，但引入近似误差。

二、底层机制与公式

exact kernel memory=O(n²)
RFF training roughly O(nD), prediction O(D)
linear sparse cost follows nnz(X)

三、带数字的推演

n 从 10,000 增到 100,000，核矩阵元素从 1 亿增到 100 亿，放大 100 倍；线性稀疏算法成本更接近非零元素线性增长。

四、方案对比

方案/对象	核心特点	代价或边界
LinearSVC/SGD	可扩展、稀疏友好	无法直接学强非线性
RFF/Nyström	近似非线性核	需选近似维度
精确核 SVM	小中数据精度高	训练/推理扩展差

五、执行流程

统计 n/d/nnz -> 建线性基线 -> 小样本测核收益
-> 选择近似维度/采样 -> 全量训练 -> 压测支持向量或显式特征推理

六、边界条件与工程代价

抽样比较核收益时必须保持时间/分组分布，不能只取容易样本。

SGD 结果对学习率和 epoch 敏感，不能用默认未调线性模型证明核一定更好。

记忆钩子：大规模 SVM 先看 n² 是否可承受。

七、常见误区与追问

• 误区：特征很多就一定不能用 SVM。 线性 SVM 擅长高维稀疏数据。

• 追问：核 SVM 主要怕 n 还是 d？ 通常更怕样本数导致核矩阵增长。

• 误区：核近似与精确核完全相同。 有限 D 会引入逼近误差。

• 追问：为何看支持向量数？ 核推理成本常与其数量成正比。

• 追问：选型流程？ 先线性基线，再量化非线性增益是否值得成本。

八、加强记忆

大规模 SVM 先看 n² 是否可承受。

不可承受就走线性或显式核近似，并把推理支持向量成本一起算。