主题
如何选择分类模型的评价指标?
问题
分类模型应报告准确率、F1、ROC-AUC,还是精确率和召回率?模型最终还需要设定一个告警阈值。
快速回答
从错误的代价选指标。漏报代价高就重点看召回率,误报造成大量复核就看精确率和告警量。固定阈值下报告混淆矩阵。比较分数的排序能力时可用 ROC-AUC,阳性少且着重比较阳性检出时,同时看精确率–召回率曲线。
原因解释
假设有 50 个阳性,模型发出 40 次告警,其中 30 次正确。精确率为
处理建议
- 明确哪个类别是正类,写清待评估的分类场景与类别比例。先把主指标和可接受的工作量阈值列出来。
- 在验证集上比较几个阈值,记录真正例、假正例和假负例。若目标是满足召回率下限,可在达到下限的阈值中选精确率较高的方案。
- 固定阈值后跑测试。多分类任务可报告逐类指标及样本量,再给宏平均,等权体现每个类别的表现。
- 若输出被当作概率使用,同时核对校准。例如比较预测概率约为 0.8 的一批样本中,实际为阳性的比例。
特殊情况
没有预测为正的样本时,精确率的分母为零。验证集缺少真实阳性时,召回率无法直接衡量阳性检出能力。报告具体计数,并注明指标处理规则。
常见误区
只报告 AUC 就交付阈值方案。排序良好仍可能在选定阈值下产生过多误报。不同阳性比例的样本上,精确率也应结合各自场景解读。