ROC 曲线和 AUC 是什么？AUC 有什么概率含义？

简化版

ROC 曲线 描绘分类模型在所有分类阈值下的表现：横轴是假正例率 FPR（误报率），纵轴是真正例率 TPR（=召回率），随着阈值从高到低变化画出一条曲线。曲线越靠左上角（TPR 高、FPR 低）越好。AUC（Area Under Curve） 是 ROC 曲线下的面积，取值 [0.5, 1]：0.5=随机瞎猜，1=完美。AUC 的概率含义很重要——它等于「随机取一个正样本和一个负样本，模型给正样本打分更高的概率」，即模型对正负样本的排序能力。AUC 的优点是与阈值无关、对类别不平衡相对稳健，所以广泛用于比较模型。

详细版

ROC 的两个轴：

TPR（真正例率，纵轴）= TP/(TP+FN) = 召回率  （真正例中被找出的比例）
FPR（假正例率，横轴）= FP/(FP+TN)           （真负例中被误报的比例）

ROC 曲线怎么画： 把分类阈值从高到低滑动，每个阈值算一对 (FPR, TPR)，连成曲线。

阈值高→预测正的少→TPR、FPR 都低（左下角）。
阈值低→预测正的多→TPR、FPR 都高（右上角）。
越靠左上角越好；对角线 = 随机。

AUC（曲线下面积）：

AUC	含义
1.0	完美分类
0.5	随机瞎猜（对角线）
<0.5	比随机还差（预测反了）

AUC 的概率含义： = P(随机正样本得分 > 随机负样本得分) = 模型排序正负样本的能力。

优点： 与阈值无关、对类别不平衡相对稳健（横纵轴各自归一化）。

完整版教学

一、为什么需要 ROC/AUC——摆脱对单一阈值的依赖

精确率、召回率、F1 都是在某一个固定阈值下算的（默认 0.5：概率>0.5 判正）。但一个模型输出的是概率/打分，阈值可以任意设——阈值不同，精确率召回率都会变。那怎么评价「模型本身」的好坏，而不被某个特定阈值绑架？

ROC 曲线的思路是：遍历所有可能的阈值，看模型在每个阈值下的表现，画成一条曲线，从而全面刻画模型在各种权衡下的能力。AUC 再把这条曲线压缩成一个数，方便比较。这样得到的是与阈值无关的整体评价。

二、ROC 的两个轴：TPR 和 FPR

ROC 曲线的横纵轴：

纵轴 TPR（True Positive Rate，真正例率）= TP/(TP+FN)——就是召回率，「真正的正例里被找出的比例」。越高越好（多抓真正例）。
横轴 FPR（False Positive Rate，假正例率）= FP/(FP+TN)——「真正的负例里被误报为正的比例」。越低越好（少误报）。

理想模型：TPR 高（正例都抓到）、FPR 低（负例不误报），即曲线靠近左上角 (0,1)。

TPR 只在真实正类中归一化，FPR 只在真实负类中归一化：

TPR = TP / (TP + FN) = Recall
FPR = FP / (FP + TN) = 1 - Specificity

这解释了理论 ROC 在类条件分数分布不变、只改变类别先验时不变，但不意味着换人群、换时间或标签漂移后仍不变。样本权重、正类定义和并列分数处理也会影响经验 AUC。

业务只容忍很低 FPR 时，应比较该局部区间的 TPR 或 partial AUC。全局 AUC 高的模型，未必在 FPR≤0.1% 的区域更好。

三、ROC 曲线怎么画出来

把分类阈值从高到低滑动，每个阈值对应一组预测，算出一对 (FPR, TPR)，把这些点连起来就是 ROC 曲线：

阈值 = 1（几乎不判正）: TP=0,FP=0 → (FPR,TPR)=(0,0)  左下角起点
阈值 逐渐降低       : 越来越多样本判正，TPR、FPR 都上升
阈值 = 0（全判正）  : TP,FP 全中 → (FPR,TPR)=(1,1)  右上角终点

TPR
 1 │      ___----- 好模型（贴左上角）
   │   __/
   │  /      ····· 对角线=随机(AUC=0.5)
   │ / ····
 0 └──────────────→ FPR
   0              1

曲线越往左上角凸越好（同样的 FPR 下 TPR 更高）。
对角线（从 (0,0) 到 (1,1)）代表随机瞎猜，AUC=0.5。
曲线在对角线下方说明比随机还差（通常是标签/预测反了）。

四、AUC：把曲线变成一个数

比较多个模型时，看曲线不直观，于是用 AUC（Area Under the ROC Curve，ROC 曲线下面积） 把整条曲线概括成一个 [0,1] 的数：

AUC = 1：完美分类（曲线经过左上角）。
AUC = 0.5：随机瞎猜（对角线）。
AUC ∈ (0.5, 1)：越大越好，是常用的模型比较指标。
AUC < 0.5：比随机还差（预测方向反了）。

五、AUC 的概率含义（重点）

AUC 有一个非常重要、面试必考的概率解释：

AUC = 随机抽一个正样本和一个负样本，模型给「正样本」打的分高于「负样本」的概率。

也就是说，AUC 衡量的是模型对正负样本的排序能力——把正样本排在负样本前面的能力。

AUC=1：任意一对正负样本，正样本得分总是更高（排序完美）。
AUC=0.5：正样本得分高于负样本的概率只有一半，等于乱排（随机）。

这个含义解释了为什么 AUC 与具体阈值无关——它衡量的是「打分的相对排序」，而不是「某个阈值下分对多少」。只要模型能把正样本普遍打高分、负样本打低分，不管阈值设哪，AUC 都高。

六、AUC 的优点与局限

优点：

与阈值无关：评价模型整体排序能力，不依赖某个阈值的选择。
对类别不平衡相对稳健：TPR 和 FPR 分别在正、负样本内部归一化，不像准确率那样被多数类主导——这是它比准确率好的关键。
适合比较不同模型、以及需要「排序/打分」的任务（如风控评分、CTR）。

局限：

极端不平衡时 ROC 可能过于乐观：负样本极多时，FPR 分母 (FP+TN) 很大，即使 FP 不少 FPR 也显得很小，ROC 看着漂亮但实际误报绝对量大。此时 PR 曲线（精确率-召回率曲线）更敏感、更能反映问题（详见 PR vs ROC 专题）。
AUC 只看排序，不反映概率校准（预测概率准不准）。

七、常见追问

AUC 的概率含义是什么？ 随机正样本得分 > 随机负样本得分的概率 = 排序能力。
AUC 为什么与阈值无关？ 它衡量打分排序，不依赖具体阈值切分。
AUC 为什么对不平衡较稳健？ TPR、FPR 各自在正/负类内归一化，不受类别比例直接影响。
AUC 和准确率区别？ 准确率是单阈值、受不平衡影响；AUC 是全阈值排序能力、较稳健。
什么时候 ROC 会误导，该用 PR？ 极端不平衡、更关注正类查准查全时用 PR 曲线。
AUC=0.5 一定没用吗？ 说明排序能力等于随机，模型没学到区分正负的信息。

八、用四个正负样本对算出 AUC

设两个正样本分数为 0.9,0.6，两个负样本分数为 0.7,0.2。四个正负样本对中，0.9 胜过两个负样本，0.6 只胜过 0.2，共赢 3 对，所以 AUC=3/4=0.75。若正负分数相等，常规 Mann–Whitney 解释给该对计 0.5 分。

AUC = P(score+ > score-) + 0.5 × P(score+ = score-)

变换	排序是否改变	AUC
score’ = 2×score+3	否	不变
score’ = sigmoid(score)	严格单调时否	不变
score’ = -score	完全反序	变为约 1-AUC（处理 ties 时同理）

AUC 范围是 [0,1]，不是所有模型天然落在 [0.5,1]；低于 0.5 通常说明排序方向反了或评估定义有问题。AUC 只看成对排序，不告诉你概率是否校准，也不直接给出满足延迟、误报成本的部署阈值。

记忆钩子：ROC 是所有阈值的轨迹，AUC 是随机正负样本对的排序胜率。

九、常见误区与追问

误区：AUC 的理论取值只有 0.5 到 1。 完整范围是 0 到 1，0.5 只是随机排序的期望基线。
误区：AUC 高就说明概率值很准确。 严格单调变换不改 AUC，却会改变概率校准。
追问：分数相同的正负样本对怎么算？ 常见定义给半个正确排序，对应 ties 的 0.5 权重。
追问：AUC=0.5 是否排除所有可预测结构？ 它表示当前标量分数无整体成对排序优势，非单调结构仍可能存在。
追问：只关心极低 FPR 怎么比较？ 看约束区间的 ROC、partial AUC 或固定 FPR 下的 TPR。

十、加强记忆

ROC 曲线遍历所有阈值画出 (FPR, TPR)：纵轴 TPR=TP/(TP+FN)=召回率（越高越好）、横轴 FPR=FP/(FP+TN)=误报率（越低越好），曲线越靠左上角越好，对角线=随机。AUC = ROC 下面积，0.5 随机、1 完美；核心记住其概率含义：随机取一正一负样本，模型给正样本打分更高的概率 = 排序能力——这也是它与阈值无关的原因。优点：与阈值无关、对类别不平衡相对稳健（TPR/FPR 各自归一化），适合比模型；局限：极端不平衡时 ROC 偏乐观，该用 PR 曲线，且 AUC 不反映概率校准。

简化版

详细版