模型输出的概率到底表示什么？
简化版
理想概率表示在相同信息条件下事件发生的频率，例如预测 0.8 的样本长期约 80% 为正；很多模型输出只是可排序分数，经 sigmoid 或 softmax 也不自动保证校准。
回答时应把“条件概率估计、排序分数与校准”讲清，再说明如何验证和落地；关键边界是：单个样本的 0.8 不是重复试验保证，也不是模型正确率；校准会改善概率解释但可能不改变排序。
详细版
模型输出常先是可排序分数，经过 Sigmoid 或 Softmax 也不自动成为可信概率。理想校准要求预测约 0.7 的样本群中事件发生率接近 70%；它是群体频率性质，不是对单个样本的重复试验保证。
在独立校准集上画可靠性图并计算 Brier 或 Log Loss，再按数据量选择 Platt、Isotonic 或温度缩放。校准通常不改变排序，却会影响风险定价和阈值；线上还要按概率桶等待真实标签监控漂移。
完整版教学
一、问题本质与使用动机
模型的数值输出可能是 margin、logit 或概率估计；只有满足相应统计性质并经独立数据验证，才适合解释为业务概率。
频率学派校准要求预测为 p 的群体中正例比例接近 p。softmax 只是归一化指数分数，神经网络失配时可非常自信却错误。
Platt 适合近 sigmoid 偏差，isotonic 灵活但容易过拟合，temperature scaling 保留多分类 argmax。校准器必须在独立数据拟合。
二、机制与数学表达
Brier score 同时惩罚概率偏差与错误置信：
Brier = (1/n)Σ(p_i-y_i)^2单个样本的 0.8 不是重复试验保证，也不是模型正确率；
三、带数字的推演
例如把 1000 个预测约 0.8 的样本分桶，若只有 620 个为正，则该桶明显过度自信；AUC 仍可能很高，因为排序与校准不同。
可将预测按等频或等宽分桶，比较平均置信度与真实正例率，同时报告样本数以暴露小桶噪声；Brier 分解还能分析可靠性和分辨率。
四、从数据到上线的执行流程
从原始分数到可用概率的流程是：
原始分数 → 独立校准集 → 可靠性诊断 → 拟合校准器 → 概率桶线上复核使用可靠性图、ECE、Brier score 和 Log Loss 组合评估，并只在独立校准集上拟合 Platt、Isotonic 或 Temperature Scaling。
线上继续监控各概率桶实际发生率、ECE 和先验变化；标签延迟时，分数分布只能作为先行信号，不能替代最终校准评估。
五、方案对比与选择边界
| 方法 | 形状假设 | 适用条件 |
|---|---|---|
| Platt | Sigmoid | 样本较少、整体偏斜 |
| Isotonic | 单调分段 | 样本充足、形状未知 |
| 温度缩放 | 统一缩放 Logit | 多分类整体过置信 |
方法选择取决于校准样本量、偏差形状和多分类需求，必须在同一保留集比较。
六、排序、校准与决策是三件事
AUC 衡量正例分数通常是否高于负例，不关心 0.8 是否真的对应 80%；校准关心概率桶的预测与发生率是否一致，却不自动保证排序好。最后的决策还需结合误报/漏报成本选阈值。同一模型可能 AUC 高但过度自信，也可能校准不错却区分能力弱。
单调的 Platt 或 Isotonic 映射通常保留大部分排序，但有限样本、并列值和实现细节仍可能改变局部次序。多分类温度缩放用一个正温度缩放 logits，通常保持 argmax；它只修整体置信尺度，无法纠正类别特定或输入相关的校准偏差。
七、怎样可靠评估校准
可靠性图受分桶方式影响，ECE 也会随桶数和样本量变化，不能作为唯一指标。应同时报告 proper scoring rule（Log Loss、Brier）、可靠性图、每桶样本数与关键人群切片，并用 bootstrap 给小样本区间。校准器只能在独立校准集拟合，不能在测试集上调完再报同一结果。
例如 1000 个预测约 0.8 的样本中只有 620 个为正，说明该桶过度自信；但还要检查这 1000 条是否来自同一时间和人群。若线上基准率改变，旧校准映射会失效，应按时间等待成熟标签并重新验证，而不是只监控平均分数。
分数能排序不代表数值是概率；概率可校准也不代表某个阈值符合当前业务成本。
八、常见误区与追问
- 误区：Softmax 输出天然是真实概率。 它只把 logits 归一化，模型失配时仍可高度过信。
- 误区：单个样本预测 0.8 表示它会成功 0.8 次。 校准是相似预测群体的频率性质，不是单次事件可验证陈述。
- 误区：校准后 AUC 一定提高。 单调校准主要修概率尺度，排序通常近似不变。
- 追问：概率和置信度有什么区别？ 任意分数可表达模型内部置信，只有经过统计验证才具有概率频率解释。
- 追问：为何校准集必须独立？ 同一数据拟合和评估映射会产生乐观偏差，Isotonic 尤其容易过拟合。
- 追问：分布漂移后还校准吗？ 必须重新检查；基准率或条件关系变化都会破坏旧概率解释。
九、加强记忆
分数负责排序，校准才赋予概率解释，阈值再把概率变成动作。0.8 的含义要靠同类样本长期约 80% 发生来验证；校准器必须与模型一样使用独立数据并持续监控。