← 返回题目列表

如何检查线性回归的基本假设?

高频 困难 第 20 / 25 题 更新于 2026/09/25
机器学习线性模型面试题
学习 AI 实战项目

简化版

OLS 系数无偏依赖条件均值设定正确和外生性,经典标准误还依赖独立同方差;残差正态主要影响小样本推断,并不是预测有效的必要条件。

回答时应把“线性、独立、同方差与误差分布诊断”讲清,再说明如何验证和落地;关键边界是:R² 高不能证明假设成立;残差近正态也不能排除内生性,业务因果结构必须另查。

详细版

OLS 的关键假设要按目标拆开:条件均值形式与外生性关系到系数偏差,同方差和残差相关性关系到经典标准误,残差正态主要影响小样本推断。预测误差不正态并不自动使点预测失效,残差近正态也不能排除内生性。

残差—拟合图检查非线性和漏斗,Q-Q 图看尾部,VIF 只诊断共线。发现问题后分别采用变换、样条、稳健标准误、分组误差或因果设计;R² 高不能替代这些检查。

完整版教学

一、问题本质与使用动机

检查线性回归假设前必须先区分目标:点预测、系数关联解释和因果推断依赖的条件并不相同。

线性假设指 E[Y|X] 在线性预测子上正确,外生性要求 E[ε|X]=0。同方差主要关系到经典标准误,预测时可容忍但区间估计要修正。

非线性可加变换或 spline,异方差用稳健标准误或加权最小二乘,相关误差用聚类/时间序列结构。内生性需设计或工具变量。

二、机制与数学表达

在同方差且误差不相关等经典条件下,OLS 条件方差为:

Var(β_hat|X)=σ²(XᵀX)^(-1) under homoscedasticity

异方差或相关误差出现后,这个经典方差公式不再适用,但系数是否有偏还取决于均值设定与外生性。

三、带数字的推演

若预测值从 10 增到 100 时残差标准差由 2 增到 20,残差—拟合图会呈漏斗状。若条件均值与外生性仍成立,OLS 点估计可保持一致,但常规同方差标准误可能严重失真。

残差—拟合图用于观察曲率和漏斗,Q-Q 图用于检查尾部,ACF 或分组残差用于检查相关结构,杠杆值与 Cook 距离用于识别影响点;VIF 只反映设计矩阵共线性,不能诊断外生性或因果方向。

若解释变量与误差相关,单靠稳健标准误无法消除系数偏差,需要随机化、自然实验或满足条件的工具变量识别。

四、从数据到上线的执行流程

可按下面的目标驱动流程诊断:

明确预测或推断目标 → 残差与结构诊断 → 区分假设违背 → 针对修复 → 新数据复查

先画残差—拟合值图并按时间、主体和关键人群切片,再检查 Q-Q、相关结构、VIF 与影响点;发现违背后要针对具体问题修复,而非统一套用稳健标准误。

诊断图、抽样口径和阈值应随模型版本保存,不能只留一个检验 p 值。数据范围变化后应重新检查,因为新区域可能暴露原训练区间看不到的非线性与异方差。

五、方案对比与选择边界

假设主要影响诊断/处置
线性均值系数与预测偏差残差图、样条
同方差经典标准误稳健标准误
外生性因果/系数偏差研究设计或工具变量

先判断违背的是均值形式、误差方差、相关结构还是外生性,再选择样条、稳健/聚类标准误、加权估计或研究设计。

六、检验结果如何对应修复

非线性均值可通过变量变换、交互、样条或更合适模型修复;异方差若只影响推断,可使用 HC 稳健标准误,若方差结构可建模则可考虑加权最小二乘。重复测量或时间相关误差要使用聚类稳健标准误、GLS 或时间序列结构。高杠杆点不能自动删除,应回查数据来源并报告含/不含该点的敏感性分析。

外生性无法通过画残差图得到证明。遗漏变量、反向因果和测量误差会使 E[ε|X]≠0,此时稳健标准误只能修正不确定性估计,不能消除系数偏差。需要随机化、自然实验、固定效应、工具变量等识别设计,并分别说明附加假设。

正态性不是 OLS 无偏的必要条件;它主要支撑经典小样本精确检验。大样本推断还依赖相应渐近条件,不能只靠中心极限定理口号。

七、常见误区与追问

  • 误区:R² 高就说明线性、同方差和外生性成立。 R² 只描述样本内方差解释比例,无法验证这些条件。
  • 误区:Q-Q 图接近直线就证明模型正确。 误差分布近正态仍可能存在遗漏变量、内生性或非线性。
  • 追问:异方差会让 OLS 系数有偏吗? 在均值设定和外生性成立时不必然有偏,但经典标准误失效且 OLS 不再有效率最高。
  • 追问:VIF 高怎么办? 先看是否影响预测或系数解释,再考虑合并变量、正则化或增加数据,不能按固定阈值机械删列。
  • 追问:Durbin-Watson 能覆盖所有相关误差吗? 不能,它主要针对特定的一阶序列相关,面板和复杂时序要用更合适诊断。
  • 追问:预测任务还需要这些假设吗? 不一定需要经典推断全部条件,但仍要检查外推、切片误差、区间覆盖与时间稳定性。

八、加强记忆

别把“残差正态”当全部假设:先查均值形式和外生性,再查方差与相关结构,最后才是小样本分布。不同违背影响不同目标,也对应不同修复,R² 无法替代残差诊断。