AUC 为什么衡量排序能力？

简化版

ROC-AUC 等于随机抽一个正样本和一个负样本时，模型把正样本排在负样本前的概率；它衡量全阈值排序能力，不反映概率校准，也可能掩盖低 FPR 区域和业务成本。

详细版

• AUC 对严格单调分数变换不变。

• 它不依赖某个固定阈值。

• 类别比例变化通常不改变排序定义，但会影响精确率。

• 并列分数通常计 0.5。

• 业务只关心局部区间时应报 partial AUC 或 PR。

完整版教学

一、AUC 是成对排序统计量

ROC 扫描阈值得到 TPR 对 FPR 曲线，其面积与正负样本对比较等价。

因此 AUC=0.8 不表示准确率 80%，也不表示每个预测概率可信。

二、底层机制与公式

AUC=P(s_pos>s_neg)+0.5P(s_pos=s_neg)
TPR=TP/P; FPR=FP/N

三、带数字的推演

正分数 [0.9,0.4]、负分数 [0.8,0.3]，4 对比较中正胜 3 对，AUC=0.75。

把所有分数做 sigmoid 后顺序不变，AUC仍为0.75。

四、方案对比

方案/对象	核心特点	代价或边界
ROC-AUC	总体排序、阈值无关	低 FPR 业务可能失真
PR-AUC	关注正类检出	受正类基率影响
Log loss	评估概率质量	对极端错误敏感

五、执行流程

保留连续分数 -> 计算总体与切片 AUC -> 画 ROC/PR
-> 聚焦业务 FPR 区间 -> 校准与阈值另行评估

六、边界条件与工程代价

样本权重和分组相关性会改变估计与区间，用户多条记录不能当完全独立样本。

极不均衡时大量负样本让 FPR 看起来很小，但绝对误报仍很大，需同时报 precision 和告警量。

记忆钩子：把 AUC 记成“抽一正一负，比谁分高”。

七、常见误区与追问

• 误区：AUC=0.8 表示 80% 样本分类正确。 它是正负样本对排序概率。

• 追问：单调变换为何不改 AUC？ 所有分数顺序保持不变。

• 误区：AUC 高说明概率校准好。 AUC 不关心概率绝对值。

• 追问：并列分数怎么算？ 常按半个正确对计入。

• 追问：何时看 partial AUC？ 业务只允许很低误报率时。

八、加强记忆

把 AUC 记成“抽一正一负，比谁分高”。

它只管顺序，不管阈值、概率真实性和每次错误的业务代价。