分类模型阈值如何选择？

简化版

分类阈值把连续分数转为动作，应在独立验证集上按错误成本、容量、召回约束或收益选择，而不是默认 0.5。阈值与概率校准、类别基率和分布漂移耦合，上线后需监控并重估。

详细版

先明确分数是否为校准概率。
画 PR/ROC/成本曲线而非只试少数点。
阈值选择和最终测试必须分离。
多群体阈值涉及公平、校准和政策约束。
固定审核容量时可用动态 Top-K，但含义不同。

完整版教学

一、阈值是业务决策参数，不是模型固有属性

模型提供排序或概率，业务用阈值把不同错误成本转成动作。

相同模型在漏诊与误报成本不同的场景会有不同最优点。

若分数是对部署人群有效的校准后验概率，且正确分类成本取零、误报与漏报成本为常数，可从条件风险推导阈值；若这些条件不成立，应直接在验证集按真实价值函数和约束搜索。

二、底层机制与公式

predict 1 if C_FP*(1-p)<C_FN*p
threshold=C_FP/(C_FP+C_FN)

这里 p=P(Y=1|x)，C_FP 是把负类判正的成本，C_FN 是把正类判负的成本。若正确决策也有收益或成本，或不同样本成本不同，就要比较完整的条件期望风险，不能直接套该阈值。

三、带数字的推演

在正确分类成本为 0、漏诊成本 9、误报成本 1，且 p 已针对部署分布校准时，阈值为 1/(9+1)=0.1。

但每天只能处理 100 个告警时，还需容量约束，不能无限降低阈值。

四、方案对比

方案/对象	核心特点	代价或边界
成本最小化	直接贴近价值	成本估计困难
固定召回/精度	满足业务 SLA	另一指标可能波动
Top-K	严格匹配容量	阈值随流量分布变化

五、执行流程

验证集保存连续分数 -> 校准/画曲线 -> 定义成本与约束
-> 选阈值并冻结 -> 测试一次 -> 上线监控基率/容量/切片

六、边界条件与工程代价

用训练集选阈值会过拟合分数分布；测试集反复调阈值同样污染最终评估。

类别先验变化会改变最优阈值和 precision；AUC 不变也不代表旧阈值仍合适。

记忆钩子：模型产出分数，阈值把分数变成成本与容量下的动作。

七、常见误区与追问

误区：概率输出默认阈值就应是 0.5。 成本和容量决定操作点。
追问：阈值会改变 AUC 吗？ AUC 基于连续排序，与单一阈值无关。
误区：在测试集选最佳 F1 后报告即可。 测试集已参与模型选择。
追问：何时用 Top-K？ 动作容量固定且流量波动时。
追问：上线监控什么？ 基率、分数分布、动作量和阈值处局部性能。

八、加强记忆

模型只产出排序或概率，阈值才把它转换成放行、拦截或人工审核；阈值应由误报与漏报成本、审核容量和硬约束共同决定。C_FP/(C_FP+C_FN) 只适用于校准后验概率、常数错误成本且正确决策成本为零的简化情形。实践中应在独立验证集扫描价值函数并冻结策略，只用测试集做最终评估；上线后监控先验、分数分布、容量和分群表现，触发重估时保留可回滚版本。

简化版

详细版