为什么线性 SVM 常用于文本分类？

简化版

文本分类常用 TF-IDF/词字符 n-gram 加线性 SVM：文本维度高而稀疏，线性边界通常强且可扩展。重点是训练折内拟合词表/IDF、避免稀疏中心化、处理类别不均衡与校准需求。

详细版

• LinearSVC 通常比核 SVM 更适合大词表。

• 字符 n-gram 对拼写、中文边界和噪声稳健。

• 词表与 IDF 不能在全量数据先拟合。

• C 控稀疏高维下的正则强度。

• 需要概率时另做折外校准。

完整版教学

一、高维稀疏表示常使文本近似线性可分

每个 n-gram 是一个坐标，文档类别可由大量局部证据加权求和。

无需 RBF 计算样本对，线性模型也能形成复杂词证据组合。

训练成本更接近非零 token 数，权重还可直接查看正负关键词，但相关词和数据偏差限制解释。

二、底层机制与公式

score(x)=w^T TFIDF(x)+b
model size roughly number_of_features*classes

三、带数字的推演

100 万文档、50 万词维，但每篇只有 200 个非零项；稀疏线性乘法只访问约 200 个坐标，RBF 核却需大量文档对相似度。

四、方案对比

方案/对象	核心特点	代价或边界
词 n-gram	语义直观	分词/OOV敏感
字符 n-gram	抗拼写噪声	维度和计算更大
RBF SVM	非线性	大文本集扩展差

五、执行流程

先划分 -> Pipeline fit tokenizer/TF-IDF/LinearSVC -> 调 C/n-gram
-> 错误与切片分析 -> 需要概率则 OOF 校准 -> 发布词表+模型

六、边界条件与工程代价

对稀疏矩阵用 StandardScaler 中心化会内存爆炸；TF-IDF 常无需再中心化。

训练和线上清洗、Unicode 规范化、分词器版本不同会造成特征完全错位。

记忆钩子：文本 SVM 的经典组合是“稀疏 TF-IDF + 线性 margin”。

七、常见误区与追问

• 误区：文本关系复杂所以必须 RBF。 高维 n-gram 下线性模型常很强。

• 追问：为何字符 n-gram 有用？ 能覆盖拼写变化和词边界噪声。

• 误区：IDF 不看标签所以可全量 fit。 它仍泄漏验证语料分布。

• 追问：如何解释线性权重？ 看类权重对应 n-gram，但不能当因果。

• 追问：概率怎么得到？ 在独立/OOF margin 上校准。

八、加强记忆

文本 SVM 的经典组合是“稀疏 TF-IDF + 线性 margin”。

把词表、IDF、清洗和模型作为一个 Pipeline 版本。