什么是梯度消失和梯度爆炸？怎么解决？

简化版

反向传播时，梯度是从输出层一路连乘到输入层的（每经过一层乘上该层的激活导数和权重）。如果沿关键方向的雅可比奇异值长期收缩，连乘很多层后梯度指数级衰减趋近 0——梯度消失：靠近输入的浅层几乎收不到梯度、学不动，网络越深越严重。如果沿关键方向的雅可比奇异值长期放大，连乘后梯度指数级放大→梯度爆炸：参数更新剧烈、损失震荡甚至溢出为 NaN。解决办法：用 ReLU 类激活（去掉正区间饱和导数，但不能单独保证稳定）、合理的权重初始化（Xavier/He）、Batch Normalization、残差连接（ResNet）（对付消失）；梯度裁剪、合理初始化与数值监控（控制爆炸）。

详细版

根源：反向传播的梯度连乘

浅层梯度 ≈ (∏ 各层激活导数 × 权重) × 后层梯度
        └───── 很多个因子连乘 ─────┘

因子普遍 <1 → 连乘指数衰减 → 梯度消失（浅层学不动）。
因子普遍 >1 → 连乘指数放大 → 梯度爆炸（更新失控、NaN）。

表现对比：

	梯度消失	梯度爆炸
现象	浅层梯度≈0、参数几乎不动、loss 不降	梯度巨大、参数剧变、loss 震荡/NaN
常见诱因	sigmoid/tanh 饱和、网络太深	权重过大、初始化不当、深层 RNN

解决方法：

问题	手段
梯度消失	ReLU 激活、He/Xavier 初始化、BatchNorm、残差连接、LSTM/GRU（RNN）
梯度爆炸	梯度裁剪（clipping）、合理初始化、权重正则、BatchNorm

完整版教学

一、根源：梯度是「一路连乘」出来的

理解这两个问题，先回到反向传播（详见反向传播专题）。反向传播用链式法则算梯度，某个浅层参数的梯度，等于从输出层到该层、沿途每一层的局部导数（激活函数导数 × 权重）连乘再乘上后层的梯度：

∂L/∂w(浅层) ∝ (激活导数₁·W₁) × (激活导数₂·W₂) × ... × (激活导数ₙ·Wₙ)
              └────────── 网络越深，连乘的因子越多 ──────────┘

关键就在这个连乘：很多个因子相乘，结果对每个因子的大小极其敏感——

每个因子都略小于 1，几十个连乘后 → 趋近于 0。
每个因子都略大于 1，几十个连乘后 → 爆炸到极大。

这就是梯度消失和梯度爆炸的共同数学根源：指数级的连乘效应。网络越深，连乘因子越多，问题越严重。

二、梯度消失：浅层学不动

当连乘因子普遍小于 1 时，梯度从输出层往输入层传的过程中指数级衰减，传到靠近输入的浅层时已经接近 0。

后果：浅层参数的梯度≈0，几乎不更新、学不到东西，而浅层往往负责提取最基础的特征。表现为：训练时 loss 下降极慢或停滞，深层网络训练不起来。

典型诱因：

sigmoid / tanh 激活：它们两端饱和（曲线变平），导数最大才 0.25（sigmoid）或 1（tanh 中心），大部分区域导数远小于 1，连乘迅速衰减。
网络太深：因子多，衰减更狠。
RNN 处理长序列：时间步展开等于很深的网络，长依赖的梯度消失尤其严重（详见 RNN 梯度专题）。

三、梯度爆炸：更新失控

当连乘因子普遍大于 1 时，梯度指数级放大，传到浅层时变得极其巨大。

后果：参数更新步子过大、在最优点附近剧烈震荡甚至发散，损失忽大忽小、不收敛，严重时数值溢出变成 NaN/Inf，训练直接崩溃。

典型诱因：权重初始化过大、深层网络、RNN 处理长序列（同一权重反复连乘）。

梯度爆炸常表现为 loss 突然跳升、梯度范数快速增大，随后出现 Inf 或 NaN。大梯度既可能来自深层雅可比连乘，也可能由异常 batch、过大学习率或混合精度溢出触发。定位时要记录分层梯度范数和首次出现非有限值的位置，而不是只看最终 loss。

四、解决梯度消失的方法

1. 用 ReLU 类激活函数。 ReLU 正区间局部导数为 1，不会额外产生饱和衰减，但权重雅可比仍可能让整体梯度收缩或放大——这是深层网络能训练起来的关键之一（详见激活函数专题）。变体 Leaky ReLU、GELU 等同理。

2. 合理的权重初始化。 初始化要让每层输出的方差稳定、不逐层缩小或放大：

Xavier/Glorot 初始化：适配 sigmoid/tanh，保持前向和反向方差稳定。
He 初始化：适配 ReLU（考虑负半轴被截断），是 ReLU 网络的标配。

3. Batch Normalization。 对每层输入做标准化（拉回均值 0、方差 1），让激活值落在导数较大的区域、稳定梯度分布，有助于改善数值尺度，但不保证消除梯度问题；是否加速训练需由实验判断（详见 BatchNorm 专题）。

4. 残差连接（ResNet）。 引入「跳跃连接」输出 = F(x) + x，提供包含恒等项的较短梯度路径，改善深层优化，从而训练几百上千层的网络（详见 ResNet 专题）——这是解决深层梯度消失的里程碑。

5. RNN 专用：LSTM / GRU。 用门控机制维护一条「梯度高速公路」（细胞状态），缓解长序列的梯度消失（详见 LSTM 专题）。

合理初始化让前向与反向的尺度在训练初期不过快衰减，归一化和残差连接则改善深层信号路径。ReLU 类激活去掉正半轴的饱和导数，但死亡单元与权重雅可比仍可能造成收缩。RNN 中的 LSTM、GRU 通过门控和加性状态路径缓解长程梯度问题，也不能保证任意长依赖都学得到。

五、解决梯度爆炸的方法

1. 梯度裁剪（Gradient Clipping）。 最直接——当梯度的范数超过某阈值时，按比例把它缩放回阈值以内，防止一次更新步子过大。RNN 中很常用，但阈值需监控调节。

2. 合理的权重初始化（Xavier/He）——避免初始权重过大。

3. 数值与优化监控。 检查混合精度 loss scaling、异常 batch、学习率和梯度范数；L2 可约束参数，但不是处理瞬时梯度爆炸的直接替代。

4. Batch Normalization——稳定各层数值分布，也有助于抑制爆炸。

按全局范数裁剪会在超过阈值时整体缩放梯度，通常比逐元素截断更能保留方向。裁剪是在更新前限制瞬时梯度，合理初始化、学习率、归一化和数值监控则从不同环节降低爆炸风险。阈值过小会让大量步骤都被压缩，因此应结合梯度范数分布选择并监控裁剪比例。

六、用二十层连乘量化消失与爆炸

把每层沿某个方向的标量增益暂时简化成常数。若每层增益为 0.5，经过 20 层后是 0.5²⁰≈9.54×10⁻⁷；若每层为 1.5，则 1.5²⁰≈3325。这说明每层只偏离 1 一点，深度累积后也会造成数量级变化。

每层增益	20 层乘积	训练信号
0.5	`9.54×10⁻⁷`	几乎消失
0.95	`0.358`	明显衰减
1.0	`1`	理想化稳定
1.5	`3325`	爆炸

真实网络传播的是矩阵雅可比，不能只检查每个标量权重是否小于 1；关键是乘积在不同方向上的奇异值。实践应记录分层梯度范数、激活分布与非有限值，先区分优化不动、数据错误和真正的梯度尺度问题。

易错点：梯度消失不是“浅层网络”的浅层含义，而是靠近输入端的早期层在反向传播中拿到的信号太小。

七、常见误区与追问

误区：只要使用 ReLU 就不会梯度消失。 ReLU 只处理激活导数的一部分，权重雅可比和死亡单元仍会造成问题。
误区：梯度裁剪可以修复梯度消失。 裁剪只限制过大的范数，对接近零的梯度无能为力。
追问：按值裁剪和按范数裁剪有何区别？ 前者逐元素截断会改方向，后者超阈值时整体缩放，通常更常见。
追问：残差连接为什么只是缓解而非保证？ 雅可比包含 I+J_F，仍可能在某些方向收缩、放大或抵消。
追问：如何在线监控梯度问题？ 记录全局及分层梯度范数、非有限值、更新参数比，并结合 loss 曲线定位。

八、加强记忆

梯度消失/爆炸的根源是反向传播梯度逐层连乘（每层乘激活导数×权重）：因子普遍<1 → 连乘指数衰减 → 梯度消失（浅层梯度≈0、学不动，网络越深越严重，sigmoid/tanh 饱和是主因）；因子普遍>1 → 连乘指数放大 → 梯度爆炸（更新失控、loss 震荡/NaN，权重过大或深层 RNN 常见）。解决消失：ReLU（正区间导数=1）、He/Xavier 初始化、BatchNorm、残差连接（梯度走捷径）、LSTM/GRU（RNN）；解决爆炸：梯度裁剪（RNN 必用）、合理初始化、L2 正则、BatchNorm。判断：loss 停滞=消失，loss 震荡/NaN=爆炸。

简化版

详细版