主题模型 LDA 的基本思想是什么？

简化版

LDA 主题模型假设每篇文档是主题分布的混合，每个主题又是词分布；生成时先选主题再生成词。它适合探索语料共现结构，但主题数、先验、分词和随机性会影响结果，困惑度低也不保证人工可解释。

详细版

• 文档—主题分布记为 theta。
• 主题—词分布记为 beta 或 phi。
• Dirichlet 先验控制分布稀疏程度。
• 词袋假设忽略词序。
• 主题编号和跨次训练结果需要匹配。

完整版教学

一、问题定义与核心直觉

对文档中的每个词位置，先从该文档的 theta 抽一个主题 z，再从主题的词分布抽词 w。推断反过来根据观察词频估计隐变量，常用变分推断或 Gibbs 采样。

主题不是天然语义实体，而是共现分布。停用词、模板文本和实体高频词会形成无用主题；预处理方案必须作为模型的一部分版本化。

二、机制与公式

theta_d ~ Dirichlet(alpha)
z_dn ~ Categorical(theta_d)
w_dn ~ Categorical(beta_(z_dn))

θ_d 是文档 d 的主题混合，β_k（或 φ_k）是主题 k 的词分布。两者都在单纯形上，但归一化维度不同：前者跨主题求和为 1，后者跨词表求和为 1。

三、带数字的推演

某文档主题分布为 [0.7,0.2,0.1]，表示 70% token 的生成责任落在主题 1，并不表示“文档有 70% 概率属于主题 1”。若 alpha 较小，文档分布通常更稀疏。

0.7 是模型下该文档 token 主题分配的混合权重，不是“文档属于主题 1”的分类概率。标准 LDA 使用词袋表示，同样词频但词序不同的文档具有相同似然表示。

四、方案对比

方案	优势	代价或边界
LDA	概率解释清晰、软主题混合	词袋假设与选 K 困难
NMF	优化直观、常有可解释词组	缺少完整生成概率
嵌入聚类	利用语义表示	主题一致性依赖编码器

五、工程执行流程

清洗与固定词表 -> 按时间留出 -> 扫描 K/先验/种子 -> 查看主题词与代表文档
-> 计算 coherence/稳定性/留出指标 -> 专家命名 -> 监控主题占比漂移

主题编号可任意置换。跨种子或跨时间比较时，应先按主题—词分布的 Jensen–Shannon 距离、余弦相似度等做匹配，再比较主题占比与代表文档，不能直接对“主题 3”做同比。

六、边界条件与上线代价

困惑度偏爱更能预测词频的模型，却可能拆出人难以命名的细粒度主题；选择 K 应结合 coherence、冗余度和任务用途。

线上新词不在旧词表时会被丢弃，主题占比漂移可能只是词表覆盖下降；需同时监控 OOV 与文档长度。

关键判断：LDA 的生成链是“文档先混主题，主题再出词”。

七、常见误区与追问

• 误区：每篇文档只能属于一个主题。 LDA 为每篇文档学习主题混合。

• 追问：alpha 有什么作用？ 它影响文档主题分布的稀疏程度。

• 误区：困惑度最低的主题数最好。 可解释性与业务用途可能相反。

• 追问：如何解释主题？ 联合高概率词、代表文档和专家复核。

• 追问：如何比较两次训练？ 按词分布相似度匹配主题后再看稳定性。

八、加强记忆

LDA 的生成链是“文档先混主题，主题再出词”。回答时区分概率含义，说明词袋与先验，再用主题词、代表文档、coherence 和跨种子稳定性共同验收。