PCA 的解释方差比怎么理解？

简化版

PCA 的解释方差比表示每个主成分捕获的样本方差占总方差的比例，累计比例常用于选择维数，但它不是信息价值或预测性能的保证。结果依赖中心化、缩放、训练分布和异常值，维数必须结合重构与下游验证。

详细版

• 特征值等于对应主成分上的样本方差。
• 各主成分正交并按特征值降序排列。
• 累计解释方差只衡量二阶线性变异。
• 未缩放时大单位特征可能主导结果。
• 选择维数应在训练折完成。

完整版教学

一、问题定义与核心直觉

中心化数据的协方差矩阵做特征分解，前 k 个特征向量给出最小平方重构误差的 k 维线性子空间。解释方差比是前 k 个特征值之和除以全部特征值之和。

“保留 95%”是经验阈值而非普遍标准。低方差方向可能包含稀有故障或分类边界，高方差方向也可能只是无关噪声，所以应画性能—维数—成本曲线。

二、机制与公式

EVR_j=lambda_j/sum_l lambda_l
cumulative_EVR(k)=sum_(j=1..k) EVR_j

在使用样本协方差时，特征值等于对应主成分的样本方差；分母用 n 还是 n-1 会同时缩放全部特征值，但解释方差比不变。主成分按特征值降序排列，方向符号翻转也不改变比例。

三、带数字的推演

特征值为 [5,3,1,1]，前两维累计解释方差为 (5+3)/10=80%，前三维为 90%。若故障信号主要位于第四方向，选前三维仍会丢失关键预测信息。

这个反例说明累计比例只统计总方差，无法判断第四方向的监督价值。未缩放时大单位特征可能主导协方差；标准化则改为强调相关结构，两种表示都要依据业务语义选择。

四、方案对比

方案	优势	代价或边界
固定 95%	简单可复现	与任务价值脱节
下游 CV 选 k	直接面向任务	计算更贵且需防泄漏
重构误差阈值	适合压缩/去噪	未必对应监督目标

五、工程执行流程

训练折中心化/缩放 -> 拟合 PCA -> 绘碎石图和累计曲线 -> 设置 k 候选
-> 折内评估下游性能/重构 -> 选择成本折中 -> 保存均值、载荷和版本

如果 k 根据下游验证指标选择，缩放、PCA 拟合和 k 的选择都必须嵌入交叉验证训练折；独立测试集只能在方案冻结后评估一次。

六、边界条件与上线代价

样本数远小于特征数时，可用 randomized SVD，但近似算法与随机种子会影响尾部特征值，应报告容差与稳定性。

分布漂移会改变方差结构；线上不仅监控主成分得分，还应监控残差能量和解释方差变化。

关键判断：解释方差回答“线性波动保留多少”，不回答“业务信息保留多少”。

七、常见误区与追问

• 误区：95% 解释方差等于保留 95% 信息。 它只指线性总方差比例。

• 追问：为什么常先缩放？ 当单位不可比且不希望大方差维天然占优时需要；若原始量纲具有明确意义，也可只中心化。

• 误区：PCA 可以在全数据先拟合。 会让验证分布参与表示学习。

• 追问：低方差方向何时重要？ 稀有事件或监督信号可能位于该方向。

• 追问：如何选择 k？ 联合下游指标、重构误差、稳定性和成本。

八、加强记忆

解释方差回答“线性波动保留多少”，不回答“业务信息保留多少”。面试时先写特征值比例，再补缩放与折内拟合，最后用任务指标而非固定 95% 完成选维。