XGBoost 相比传统 GBDT 有哪些改进？

简化版

XGBoost 是 GBDT 的高效、强化实现，主要改进有：① 二阶泰勒展开——用一阶梯度和二阶曲率构造单轮近似，并推导叶权重与分裂增益；② 显式复杂度项——目标中包含叶数与叶权重正则，传统梯度提升也可通过 shrinkage、子采样、树约束和早停正则化；③ 多种树构建与工程优化——提供 exact、approx、hist 等方法，并在单轮分裂计算、缓存、分布式与设备上优化；④ 内建缺失值处理（为每个分裂学默认方向）；⑤ 列采样（借鉴随机森林，防过拟合又提速）；⑥ 支持自定义损失、内置交叉验证、早停等。记忆锚点：XGBoost = GBDT + 二阶导 + 正则 + 工程并行优化。

详细版

主要改进对比：

方面	传统 GBDT	XGBoost
损失近似	一阶导（负梯度）	一阶 + 二阶导（牛顿法思想）
正则化	无显式正则	叶子数 γ + 叶子权重 L2（λ）写进目标
缺失值	需预处理	内建默认方向自动学习
并行	Boosting 轮次串行	轮次仍串行，单轮分裂/数据计算可并行
列采样	无	支持（借鉴随机森林）
剪枝	预剪枝	先长到 max_depth 再后剪（按增益）
其他	—	自定义损失、交叉验证、早停、稀疏感知

目标函数（含正则）：

Obj = Σ L(yᵢ, ŷᵢ) + Σ Ω(fₖ)
Ω(f) = γ·T + ½λ·Σ wⱼ²      T=叶子数, wⱼ=叶子权重

用二阶泰勒展开 L ≈ gᵢ·f + ½hᵢ·f²（g 一阶、h 二阶导）近似，推出叶子最优权重和分裂增益的解析公式。

完整版教学

一、XGBoost 是什么定位

XGBoost（eXtreme Gradient Boosting）不是一个全新算法，而是 GBDT 的极致工程化 + 若干理论强化。它保留了 GBDT 的核心（串行加回归树、梯度提升），但在精度、速度、防过拟合、易用性上全面升级，长期是 Kaggle 结构化数据竞赛和工业界的头号武器。理解它，就是理解「它在 GBDT 基础上改了什么、为什么这些改动有用」。

二、改进一：二阶泰勒展开（精度与收敛）

传统 GBDT 每棵树只用损失的一阶导（负梯度） 来指导拟合。XGBoost 把损失在当前预测处做二阶泰勒展开，同时用一阶导 g 和二阶导 h：

L(y, ŷ + f) ≈ L(y, ŷ) + g·f + ½·h·f²
   g = ∂L/∂ŷ (一阶),  h = ∂²L/∂ŷ² (二阶)

好处：

二阶信息提供局部曲率，使叶权重具有牛顿步式闭式解；它不对所有损失、数据和参数无条件保证更快或更准。
基于这个近似，能解析地推导出每个叶子的最优权重和分裂增益公式，让「选最优分裂」有了统一、精确的评分标准（增益里同时含 g、h 和正则项）。

三、改进二：显式正则化（防过拟合）

这是 XGBoost 相比 GBDT 最重要的理论改进之一。它把树的复杂度惩罚直接写进目标函数：

Obj = Σ L(yᵢ, ŷᵢ)  +  Σ Ω(fₖ)
Ω(f) = γ·T + ½·λ·Σⱼ wⱼ²
       └叶子数惩罚┘  └叶子权重的 L2┘

γ·T：惩罚叶子数量 T——叶子越多树越复杂，γ 起到「分裂要足够划算才允许」的作用（增益不超过 γ 就不分裂，相当于剪枝）。
½λΣwⱼ²：对叶子输出值做 L2 正则，压缩叶子权重、让预测更平滑。

传统 GBDT 没有这种显式正则，主要靠学习率、树深、子采样间接控制。XGBoost 把叶数和叶权重等复杂度项显式纳入目标，便于统一推导；能否改善泛化仍取决于验证选择。

四、改进三：工程优化（速度与可扩展）

GBDT 串行、慢，XGBoost 做了大量工程优化让它可并行、扩展性强：

多种树方法：exact 枚举数据候选，approx 做近似候选，hist 先分桶再构建直方图；早期 exact/预排序分块是重要历史设计，但现代回答必须覆盖 hist。Boosting 轮次串行，单轮找分裂和数据处理可并行。
近似分裂算法 + 加权分位数草图：数据太大时用分位点作为候选分裂点，不必遍历所有值。
缓存感知、外存计算（out-of-core）：优化内存访问、支持超出内存的数据。

这些让 XGBoost 在大数据上比朴素 GBDT 快很多。

五、改进四~六：缺失值、列采样、剪枝等

稀疏感知 / 缺失值内建处理：为每个分裂学习一个默认方向——训练时把缺失样本分别试划到左右，选增益更大的方向；预测时缺失样本走默认方向。无需手工填充缺失。
列采样（column subsampling）：借鉴随机森林，每棵树/每次分裂随机用部分特征，既防过拟合又加速，是随机森林思想融入 Boosting。
剪枝策略：XGBoost 采用「先长到 max_depth，再自底向上按增益后剪枝」（增益为负的分裂被剪掉），比 GBDT 的纯预剪枝更充分。
内置交叉验证、早停、自定义损失/评估：工程易用性强。

六、和 GBDT、LightGBM 的关系

相对 GBDT：XGBoost = GBDT 核心 + 二阶导 + 显式正则 + 工程并行 + 缺失值/列采样等，精度更高、更快、更防过拟合。
相对 LightGBM：LightGBM 是微软后来的实现，用直方图算法、Leaf-wise 生长、GOSS、EFB 等，在大数据上更快、更省内存（详见 XGBoost vs LightGBM 专题）。三者一脉相承：GBDT（原理）→ XGBoost（工程强化）→ LightGBM（更快更省）。

七、常见追问

XGBoost 相比经典一阶 GBDT 框架增加了什么？ 二阶近似、显式树复杂度项、多种高效树方法、稀疏/缺失路由、采样以及工程化能力；实际效果没有跨数据集保证。
二阶导的作用？ 提供曲率信息（牛顿法思想），优化更准更快，并让分裂增益/叶子权重有解析解。
γ 和 λ 分别管什么？ γ 惩罚叶子数（控制分裂/剪枝），λ 是叶子权重的 L2（平滑预测）。
XGBoost 能并行吗？ Boosting 轮次串行，但单棵树内找分裂点可并行（特征粒度），这是它快的关键。
缺失值要不要预处理？ 通常不用，直接交给 XGBoost 的默认方向机制。

八、从叶子权重公式看二阶信息与正则

某候选叶中一阶梯度和 G=-6、二阶梯度和 H=4，L2 参数 λ=2，则最优叶权重 w*=-G/(H+λ)=1；若 λ=0，权重是 1.5。正则让单叶更新更保守。若分裂后的增益扣除 γ 后不为正，XGBoost 会拒绝该分裂，而不是先无条件长满再统一剪一次。

w_j* = -G_j / (H_j + lambda)
Score(leaf j) = -0.5 * G_j^2 / (H_j + lambda)
Gain = 0.5*[G_L^2/(H_L+lambda)+G_R^2/(H_R+lambda)-G^2/(H+lambda)]-gamma

对象/方案	核心机制	选择或风险
算法目标	一阶 g + 二阶 h 的加法树近似	要求目标可提供合适梯度/Hessian
复杂度控制	叶数 γ、叶权重 L1/L2、深度/叶数等	显式写进目标或生长约束
树构建	exact/approx/hist 等方法	不能只用早期预排序概括
工程能力	缺失默认方向、行列采样、并行/分布式/GPU	能力受 tree_method 与版本约束

当前预测 → 计算每样本 g,h → 枚举候选分裂增益
           → 生长受约束的树 → 乘 eta 累加 → 验证早停

记忆钩子：二阶信息提供局部曲率与叶权重闭式更新，但不自动保证比所有一阶 GBDT 更准或更快。

九、常见误区与追问

误区：传统 GBDT 完全没有任何正则化手段。 Shrinkage、子采样、树深和早停都是正则，只是 XGBoost 把部分复杂度项显式写入目标。
误区：XGBoost 的树之间可以完全并行训练。 Boosting 轮次仍串行，并行主要发生在单轮找分裂和数据计算。
追问：二阶导一定让模型收敛更快吗？ 它提供更多局部信息，但实际效果依损失、近似、参数和数据而定。
追问：缺失默认方向如何学习？ 候选分裂会比较缺失样本走左或右的增益并记录较优方向。
追问：hist 与 exact 的核心取舍是什么？ 直方图减少候选和内存、引入分桶近似；精确法枚举更多候选且扩展性差。

十、加强记忆

XGBoost 是梯度提升树体系中的一套正则化目标与高效实现：用一阶 g、二阶 h 近似单轮目标，得到 w*=-G/(H+λ) 和带 γ 的分裂增益；二阶信息提供曲率但不保证无条件更准。它显式惩罚叶数与叶权重，同时仍需学习率、采样、深度/叶数和早停。工程上应记住 exact、approx、hist 等树方法、轮内并行、稀疏与缺失默认方向、行列采样、分布式/GPU 等能力，不能只背早期预排序。Boosting 轮次依旧串行，算法选择与效果必须结合版本、tree_method、设备和验证结果。

简化版

详细版