校准曲线和 Brier Score 有什么用？

简化版

校准曲线把预测概率分桶，比较每桶平均预测与真实正例率；落在对角线附近表示该分桶尺度上的频率一致。Brier Score 是二分类概率的均方误差 mean((p-y)^2)，越小越好，同时受校准与区分/分辨能力影响，不能当作纯校准误差。应联合 NLL、AUC/PR、桶计数和置信区间判断。

详细版

横轴常为桶内平均预测，纵轴为实际正例率。
等宽桶直观但高置信区域可能样本少。
等频桶样本稳定但桶宽不同。
曲线不能替代 AUC，二者回答不同问题。
校准器必须在独立数据拟合。
Brier 是有界的严格适当评分规则（二分类取值 0 到 1），同时奖励概率准确性与分辨能力。

完整版教学

一、可靠性图把概率承诺变成频率检验

若模型给一组样本 0.7 概率，长期约 70% 应为正；校准曲线就是对这种承诺分段核验。

小桶样本少会产生锯齿，不能把每个弯折都解释成系统偏差。

二、底层机制与公式

bin_conf_b=mean(p_i in b)
bin_acc_b=mean(y_i in b)
ECE=sum_b n_b/n*abs(bin_acc_b-bin_conf_b)
Brier=(1/n)*sum_i (p_i-y_i)^2
NLL=-(1/n)*sum_i [y_i*log(p_i)+(1-y_i)*log(1-p_i)]

三、带数字的推演

某桶 100 个样本，平均预测 0.8，实际 65 个正例，则点为 (0.8,0.65)，在该桶表现为过度自信 0.15；但还需为 65% 计算不确定性。单样本若 p=0.8,y=1，Brier 损失是 0.04；若 y=0 则是 0.64，所以错误的高置信概率受更大惩罚。

四、方案对比

方案/对象	核心特点	代价或边界
等宽分桶	概率区间直观	样本数悬殊
等频分桶	每桶稳定	横轴间隔不均
自适应/核方法	曲线更细	解释与实现复杂
Brier Score	概率均方误差、二分类有界	混合校准与分辨能力，受基率影响
NLL	严格适当、强罚高置信错误	概率接近 0/1 时非常敏感

五、执行流程

锁定测试/校准集 -> 选择并公开分桶 -> 统计每桶数量/均值/正例率
-> 画区间 -> 报 Brier/NLL/ECE -> 按类别和切片复核

六、边界条件与工程代价

ECE 可通过粗分桶被人为压低，跨模型比较必须固定规则并查看图和桶计数。

多分类可看 top-label calibration 或 classwise calibration，两者不能混为同一问题。

Brier 在二分类可分解为可靠性、分辨率和不确定性（不同样本/估计形式略有约定），这也说明两个 Brier 相同的模型可能有不同校准曲线；跨数据集比较还会受基率与固有不确定性影响。

记忆钩子：校准曲线问“模型说 0.8 时，现实是否约八成发生”。

七、常见误区与追问

误区：曲线在对角线就说明模型准确。 常数基率预测也可校准却无区分力。
追问：为何显示桶样本数？ 稀疏桶的正例率方差很大。
误区：ECE 是无参数客观指标。 它依赖分桶方式。
追问：横轴用桶中点吗？ 更常用桶内实际平均预测概率。
追问：校准和 AUC关系？ 校准看数值可信，AUC看排序。
追问：Brier 越低就一定校准越好吗？ 不一定；它同时包含概率分辨能力与校准影响，应结合可靠性图或校准分解。

八、加强记忆

校准曲线问“模型说 0.8 时，现实是否约八成发生”；Brier 则把每个概率与 0/1 结果的平方差做平均。

看点的位置，也看每桶证据量；同时保留排序指标。

简化版

详细版