分类模型阈值如何选择？

简化版

分类阈值把连续分数转为动作，应在独立验证集上按错误成本、容量、召回约束或收益选择，而不是默认 0.5。阈值与概率校准、类别基率和分布漂移耦合，上线后需监控并重估。

详细版

• 先明确分数是否为校准概率。

• 画 PR/ROC/成本曲线而非只试少数点。

• 阈值选择和最终测试必须分离。

• 多群体阈值涉及公平、校准和政策约束。

• 固定审核容量时可用动态 Top-K，但含义不同。

完整版教学

一、阈值是业务决策参数，不是模型固有属性

模型提供排序或概率，业务用阈值把不同错误成本转成动作。

相同模型在漏诊与误报成本不同的场景会有不同最优点。

若概率校准且二分类成本完整，可从条件风险推导阈值；否则应直接在验证集用真实价值函数搜索。

二、底层机制与公式

predict 1 if C_FP*(1-p)<C_FN*p
threshold=C_FP/(C_FP+C_FN)

三、带数字的推演

漏诊成本 9、误报成本 1，理想校准下阈值为 1/(9+1)=0.1。

但每天只能处理 100 个告警时，还需容量约束，不能无限降低阈值。

四、方案对比

方案/对象	核心特点	代价或边界
成本最小化	直接贴近价值	成本估计困难
固定召回/精度	满足业务 SLA	另一指标可能波动
Top-K	严格匹配容量	阈值随流量分布变化

五、执行流程

验证集保存连续分数 -> 校准/画曲线 -> 定义成本与约束
-> 选阈值并冻结 -> 测试一次 -> 上线监控基率/容量/切片

六、边界条件与工程代价

用训练集选阈值会过拟合分数分布；测试集反复调阈值同样污染最终评估。

类别先验变化会改变最优阈值和 precision；AUC 不变也不代表旧阈值仍合适。

记忆钩子：模型产出分数，阈值把分数变成成本与容量下的动作。

七、常见误区与追问

• 误区：概率输出默认阈值就应是 0.5。 成本和容量决定操作点。

• 追问：阈值会改变 AUC 吗？ AUC 基于连续排序，与单一阈值无关。

• 误区：在测试集选最佳 F1 后报告即可。 测试集已参与模型选择。

• 追问：何时用 Top-K？ 动作容量固定且流量波动时。

• 追问：上线监控什么？ 基率、分数分布、动作量和阈值处局部性能。

八、加强记忆

模型产出分数，阈值把分数变成成本与容量下的动作。

0.5 不是红线，独立验证和上线重估才是。