决策树/树模型的特征重要性是怎么计算的？有什么坑？

简化版

树模型能输出特征重要性，衡量每个特征对预测的贡献。最常用的是基于不纯度下降的重要性（MDI，Gini importance）：一个特征在所有用到它的分裂节点上，带来的不纯度下降（基尼/信息增益）按样本数加权求和，再归一化——分裂越多、越靠近根、降不纯度越多的特征越重要。集成里对所有树取平均。坑：MDI 偏向高基数/连续特征（它们分裂点多、易「刷」增益），且在特征相关时会把重要性分散或高估。更稳健的替代是置换重要性（Permutation Importance）——打乱某特征看模型性能下降多少，下降越多越重要；以及在明确背景数据和特征依赖假设后计算的 SHAP 值。三者解释的对象不同，均不能直接推出因果关系。

详细版

两类主流方法：

方法	原理	优点	缺点
MDI / Gini 重要性	该特征各分裂带来的不纯度下降加权求和	训练时顺带算出、快	偏向高基数/连续特征；相关特征失真；基于训练集
置换重要性	打乱某特征列，看验证集性能下降多少	模型无关、更可信、基于泛化	慢（要多次评估）；相关特征仍会低估
SHAP	在指定价值函数下分摊预测差异	可做样本级归因	依赖背景/特征依赖假设，计算与解释成本高

MDI 计算（单棵树）：

importance(特征 f) = Σ_{用 f 分裂的节点 n} (n 的样本占比 × n 分裂的不纯度下降)
再对所有特征归一化，使总和为 1；集成里对所有树平均。

主要坑：

偏向高基数/连续特征：分裂点多、更容易找到降低不纯度的切法，重要性虚高。
相关特征：重要性在相关特征间分散，或某个被高估。
基于训练集：反映的是「训练时用得多」，不等于「泛化上真有用」→ 优先用置换重要性/SHAP 验证。

完整版教学

一、特征重要性想回答什么

树模型（决策树、随机森林、GBDT、XGBoost）能给出每个特征的重要性分数，帮我们回答：「模型主要靠哪些特征做判断？」这在特征选择、业务归因、模型解释里很有用。但不同的计算方法含义不同、各有陷阱，用错会得出误导性结论。

二、方法一：基于不纯度下降的重要性（MDI）

这是树模型默认、最常用的方法（sklearn 的 feature_importances_），也叫 Gini importance / MDI（Mean Decrease in Impurity）。

思路：一个特征越重要，它应该在树里被用来分裂得越多、越靠近根、每次分裂降低的不纯度越大。于是：

特征 f 的重要性 = Σ (所有用 f 分裂的节点) 该节点的样本占比 × 该分裂带来的不纯度下降

不纯度下降 = 分裂前不纯度 − 分裂后加权不纯度（分类用基尼/熵，回归用方差）。
样本占比加权：靠近根的节点样本多、影响大，权重高。
最后对所有特征归一化（总和为 1）。
集成里：对森林/所有树的重要性取平均。

优点：训练时顺带就算出来了，不额外花时间，快。

三、MDI 的坑一：偏向高基数 / 连续特征

MDI 最著名的缺陷：系统性偏向「取值多」的特征（高基数类别、连续特征）。

原因和「信息增益偏向多值特征」同源：取值越多、可选分裂点越多，就越容易碰巧找到一个能降低不纯度的切法——哪怕这个特征其实和目标没什么关系（如接近唯一的 ID、随机连续噪声）。这些特征会在树里被频繁选来分裂、累积出虚高的重要性。

后果：你可能看到一个其实没用的高基数特征排在最前面，误导特征选择。

四、MDI 的坑二：相关特征让重要性失真

当多个特征高度相关时，MDI 会出问题：

树在某个节点选了相关特征里的一个来分裂，另一个就「没机会」被选，重要性被前者抢走——两个同样重要的相关特征，可能一个很高、一个很低。
随机森林里因为特征随机采样，相关特征的重要性会被分摊，各自看起来都不太高，容易低估它们真实的（共同的）重要性。

所以看到相关特征的重要性时要格外小心，别直接下「某特征不重要」的结论。

因此，单个相关特征的低 MDI 不等于它没有预测信息：同一组信号可能被其中一个特征先分裂后，其余特征就几乎没有新增不纯度下降。可同时报告相关特征组的联合置换结果，或在业务允许时使用条件置换，观察“保留相关结构后”的边际贡献。无论哪种重要性都只描述模型如何使用特征，不能直接推出因果作用。

五、方法二：置换重要性（Permutation Importance）——更可信

为规避 MDI 的偏差，推荐用置换重要性：

思路：训练好模型后，在验证集/测试集上，把某个特征的那一列随机打乱（置换），破坏它和目标的关系，然后看模型性能下降了多少。下降越多，说明模型越依赖这个特征 → 越重要。

importance(f) = 打乱 f 前的得分 − 打乱 f 后的得分

优点：

模型无关（对任何模型都能用）、直接衡量「特征对预测的实际贡献」。
基于验证集/泛化，反映的是「对预测真正有用」，而非「训练时用得多」。
不偏向高基数特征（打乱一个无用的高基数特征，性能不会掉）。

缺点：

慢：每个特征都要重新评估（常重复多次取平均）。
相关特征仍会低估：打乱特征 A 时，模型还能靠相关的特征 B 顶上，导致 A 的重要性被低估（这是所有「单特征扰动」方法的通病，可通过分组置换缓解）。

六、方法三：SHAP 值——样本级、更一致

SHAP（SHapley Additive exPlanations） 借用 Shapley 值，在选定背景分布与条件/边际价值函数后，把预测相对基线的差异分摊到各特征。所谓“公平”是相对于这套公理和价值函数，而不是现实因果公平。

能给出单个样本的特征归因（这条预测为什么这么高），也能聚合成全局重要性。
具有局部准确性、一致性等特定公理性质，树模型可用 TreeSHAP 高效计算；结果仍会随背景数据和特征依赖处理改变。
缺点是计算最贵、理解门槛高。

需要单样本归因时可把 SHAP 作为候选，但应同时报告基线、特征依赖假设和稳定性，不能把它自动视为唯一首选。

七、实战建议

别只看默认的 MDI 重要性——它偏向高基数/连续特征、受相关性干扰、基于训练集。
做特征选择/归因时，用置换重要性或 SHAP 交叉验证，结论更可靠。
警惕相关特征：重要性分散/失真，别据此草率删特征。
重要性 ≠ 因果：它只说明「模型用了这个特征」，不代表该特征因果影响目标。

八、用节点加权下降复算 MDI

一棵树根节点覆盖 100 个样本，某特征分裂让 Gini 从 0.50 降到加权后的 0.32，它贡献 100/100×0.18=0.18。另一深层节点只覆盖 20 个样本，即使不纯度下降 0.30，贡献也只有 20/100×0.30=0.06。森林会在所有树上累加并归一化这些贡献，所以靠近根、覆盖样本多的分裂权重更大。

MDI(j) = sum_{nodes using j} p(node) * [I(node) - I(children)]
permutation(j) = metric(original) - metric(shuffle feature j)
importance != causal_effect

对象/方案	核心机制	选择或风险
MDI	训练时累计不纯度下降	快；偏高基数且受相关特征竞争影响
Permutation	验证集打乱特征后的性能下降	模型无关；相关特征会互相替代
TreeSHAP	按选定背景/价值函数分摊预测差异	样本级；解释依赖基线与特征依赖假设

训练树 → MDI 快速筛查
验证集 → 分组置换验证泛化贡献
单样本 → SHAP/局部解释 → 业务与因果复核

记忆钩子：重要性回答的是“模型怎样使用特征”，不是“现实中改变特征会造成多大因果效果”。

九、常见误区与追问

误区：MDI 排名第一就是最有业务价值的变量。 MDI 会偏向候选切分多的特征，也只描述已训练模型。
误区：两个相关特征的重要性都低就都没用。 它们可能互相替代，单列置换会低估任一列。
追问：置换重要性为什么要在验证集算？ 在训练集计算仍可能奖励记住噪声的特征。
追问：SHAP 值能证明因果吗？ 不能，它是给定模型和背景分布下的预测归因。
追问：如何处理一组强相关特征？ 可做分组置换、条件置换，并结合稳定性和业务知识判断。

十、加强记忆

树模型的特征重要性最常用 MDI / Gini 重要性：特征在所有分裂里带来的不纯度下降按样本数加权求和（分裂多、靠近根、降不纯度多的越重要），训练时顺带算出、快，但有两大坑——偏向高基数/连续特征（分裂点多易刷增益）和相关特征失真（重要性被抢走或分摊），而且基于训练集不等于泛化有用。更可信的替代是置换重要性（打乱某特征看验证集性能下降多少，模型无关、基于泛化、不偏高基数，但慢且相关特征仍会低估）和 TreeSHAP（在所选背景分布与特征依赖假设下做样本级归因，计算与解释成本更高）。实战：别只信默认 MDI，用置换/SHAP 验证，警惕相关特征，重要性 ≠ 因果。

简化版

详细版