基尼指数和信息熵有什么区别？为什么 CART 用基尼指数？

简化版

基尼指数和信息熵都是衡量集合不纯度的指标，都是「单一类时为 0、类别越均匀越大」，两者曲线形状非常接近，实际选出的分裂差别很小。主要区别：信息熵 -Σpₖlog₂pₖ 要算对数 log，计算较慢；基尼指数 1-Σpₖ² 只用平方和、不含 log、计算更快。所以 CART 默认用基尼指数——为了效率（大量分裂候选都要反复计算不纯度，省掉 log 累计起来很可观），而且基尼配 CART 的二叉分裂很自然。信息熵理论上有信息论解释、对不纯度的「惩罚」略强，但实践中两者效果几乎无差。

详细版

两者定义与对比：

	信息熵	基尼指数
公式	`H = -Σ pₖ log₂ pₖ`	`Gini = 1 - Σ pₖ²`
含义	不确定性（信息论）	随机抽两样本类别不同的概率
最纯（单一类）	0	0
最不纯（二类各半）	1	0.5
计算	含 log，较慢	只平方，快
用于	ID3、C4.5	CART

关键事实：

两条曲线形状极相似（都在 p=0.5 处最大、两端为 0），选出的最优分裂大多数时候相同。
二者都是对称、凹的不纯度函数，端点和峰值位置一致，数值曲线在常见类别比例下形状相近；这不等于 Gini 是熵在纯节点处的普通一阶泰勒展开。

CART 用基尼的原因： 主要是计算效率（免 log），且效果不输熵、配二叉分裂简洁。

完整版教学

一、两个指标本质在做同一件事

信息熵和基尼指数都是不纯度的度量：给一个样本集合打分，衡量它「有多混杂」。它们满足相同的定性性质：

集合里全是一类 → 最纯 → 指标 = 0。
集合里各类越均匀 → 越混杂 → 指标越大。
二分类下，都在两类各占一半（p=0.5）时取最大值。

决策树用它们来选分裂：算「分裂前的不纯度」减去「分裂后加权不纯度」，选下降最多的分裂。所以从「怎么用」看，两者是可互换的两把尺子。

二、信息熵：信息论视角的不确定性

H(D) = - Σₖ pₖ log₂ pₖ

熵来自信息论，衡量「要确定一个样本属于哪类，平均需要多少信息（比特）」。类别越均匀，越难猜，熵越大；类别越集中，越好猜，熵越小。二分类下 H 的取值范围是 [0, 1]（各半时为 1）。

三、基尼指数：抽样视角的不纯度

Gini(D) = 1 - Σₖ pₖ²

基尼指数有个直观解释：从集合中有放回地随机抽两个样本，它们类别不同的概率。

推导：随机抽一个是第 k 类的概率是 pₖ，两个都是第 k 类的概率是 pₖ²，两个同类的总概率是 Σpₖ²，那么两个不同类的概率就是 1 - Σpₖ²。
集合越纯（某类占比高），抽到两个同类的概率越大，基尼越小；越混杂，抽到不同类的概率越大，基尼越大。二分类下范围是 [0, 0.5]。

四、两者的曲线几乎重合

把信息熵（除以 2 归一化后）和基尼指数对二分类概率 p 画出来，两条曲线形状非常接近——都是开口向下、在 p=0.5 处最高、在 p=0 和 p=1 处为 0 的「拱形」。

不纯度
 │      熵(缩放后)
 │    ╱‾‾‾╲
 │   ╱ 基尼 ╲      ← 两条曲线几乎贴合
 │  ╱       ╲
 └─┴─────────┴──→ p
  0    0.5    1

数学上二者都是类别分布上的凹函数，并在纯节点取 0、均匀分布附近最大，因此许多候选切分的排序相近。但排序不保证完全一致，递归早期的一次不同选择就可能产生不同树结构；最终性能必须验证。计算便利是 Gini 的工程优势之一，而不是证明 CART 只能或必然因速度选择它的定理。

五、CART 的 Gini 选择与计算取舍

经典 CART 分类树以 Gini 作为节点不纯度；现代库也常把它作为默认候选。相对熵，它的计算形式更简单：

基尼只需平方和 1-Σpₖ²，信息熵要算对数 log。对数运算比乘法/加法慢得多。
决策树训练时要对每个特征的每个候选分裂点反复计算不纯度，数据大、特征多时，这个计算量非常大。省掉 log，累计节省的时间很可观。

此外：

基尼配 CART 的二叉分裂天然合适、实现简洁。
基尼对「不纯度」的惩罚略温和一些（熵对小概率类的惩罚更重，因为 log 在接近 0 时增长快），但这个差异在实践中通常无关紧要。

因此可把“不含对数、计算直接”作为 Gini 的实际优点，同时保留边界：不同指标可能选择不同切分，速度差异在现代优化实现中也未必主导总训练成本。

六、什么时候用熵、什么时候用基尼

可先用库默认的 Gini 建基线，再把熵/对数损失作为候选；选择应由交叉验证和整体成本决定。
需要信息论解释时可选熵，但不能预设树结构或指标一定相同。
两者都试一下用交叉验证选也行，但通常不值得——差异极小，把时间花在调 max_depth、集成等更有价值的地方。

七、常见追问

基尼和熵哪个准？ 没有跨数据集结论；通常差异小于容量、数据和集成策略，但仍应在相同验证流程比较。
为什么基尼计算快？ 不含 log，只做平方和。
基尼指数为什么是 1-Σp²？ 它等于「随机抽两样本类别不同的概率」，由 1 - 抽到同类的概率 推出。
回归树用这两个吗？ 不用——回归树用平方误差（方差） 衡量不纯度（详见回归树专题）。
熵对不纯度惩罚更强体现在哪？ log 在概率接近 0 时快速变化，使熵对「混入极少数异类」更敏感，但一般影响不大。

八、用三种类别比例比较数值与排序

二分类节点中，正类比例 p=0.5 时，熵为 1 bit、Gini 为 0.5；p=0.9 时，熵约 0.469、Gini 为 0.18；p=1 时两者都为 0。两条曲线尺度不同但都在类别均衡时最大、纯节点时归零，因此很多候选分裂上的排序相近，却不保证每次完全相同。

H(p) = -p*log2(p) - (1-p)*log2(1-p)
Gini(p) = 1 - p^2 - (1-p)^2 = 2p(1-p)
split_score = sum_k n_k/n * impurity(child_k)

对象/方案	核心机制	选择或风险
p=0.5	H=1.000	Gini=0.500
p=0.9	H≈0.469	Gini=0.180
p=1.0	H=0	Gini=0

统计类别比例 → 算父不纯度 → 枚举切分
              → 子节点加权不纯度 → 选择下降最大的切分

记忆钩子：熵和 Gini 的绝对数值不可横向比较，建树比较的是同一指标下的“分裂前后下降量”。

九、常见误区与追问

误区：Gini 越大表示节点越纯。 Gini 是不纯度，越小越纯，0 表示单一类别。
误区：熵一定能训练出比 Gini 更准确的树。 两者常给出相近排序，最终差异要靠验证集判断。
追问：为什么 CART 常用 Gini？ 它不含对数且与二叉递归框架契合，但现代实现里的速度差异未必是瓶颈。
追问：多分类公式需要改变吗？ 不需要，只把求和扩展到 K 个类别。
追问：类别权重会影响不纯度吗？ 会，样本权重改变节点中的有效类别比例与子节点加权。

十、加强记忆

Gini 1-Σpₖ² 可解释为按节点类别分布独立抽取两个标签时不同类的概率，熵 -Σpₖlog₂pₖ 衡量编码意义下的不确定性；二者都在纯节点为 0、类别均匀时最大，所以候选切分排序常接近但不保证相同。Gini 不含对数、计算形式简单，是经典 CART 与许多实现采用它的工程优势；熵则保留清晰的信息论解释。不要把 Gini 说成熵在纯节点处的普通一阶泰勒展开，也不要承诺二者效果完全等价。实际先使用合理默认，再用相同交叉验证比较，通常树容量、剪枝与数据质量比指标选择更重要。

简化版

详细版