Skip to content

如何选择分类模型的评价指标? ​

问题 ​

分类模型应报告准确率、F1、ROC-AUC,还是精确率和召回率?模型最终还需要设定一个告警阈值。

快速回答 ​

从错误的代价选指标。漏报代价高就重点看召回率,误报造成大量复核就看精确率和告警量。固定阈值下报告混淆矩阵。比较分数的排序能力时可用 ROC-AUC,阳性少且着重比较阳性检出时,同时看精确率–召回率曲线。

原因解释 ​

假设有 50 个阳性,模型发出 40 次告警,其中 30 次正确。精确率为 30/40=75%,表示告警的可信程度。召回率为 30/50=60%,表示真实阳性的检出比例。F1 是二者的调和平均,适合需要兼顾这两个量时使用,选阈值时仍需看误报和漏报的实际成本。

处理建议 ​

  1. 明确哪个类别是正类,写清待评估的分类场景与类别比例。先把主指标和可接受的工作量阈值列出来。
  2. 在验证集上比较几个阈值,记录真正例、假正例和假负例。若目标是满足召回率下限,可在达到下限的阈值中选精确率较高的方案。
  3. 固定阈值后跑测试。多分类任务可报告逐类指标及样本量,再给宏平均,等权体现每个类别的表现。
  4. 若输出被当作概率使用,同时核对校准。例如比较预测概率约为 0.8 的一批样本中,实际为阳性的比例。

特殊情况 ​

没有预测为正的样本时,精确率的分母为零。验证集缺少真实阳性时,召回率无法直接衡量阳性检出能力。报告具体计数,并注明指标处理规则。

常见误区 ​

只报告 AUC 就交付阈值方案。排序良好仍可能在选定阈值下产生过多误报。不同阳性比例的样本上,精确率也应结合各自场景解读。

关联文章 ​

MathModel FAQ · 数学建模知识库