主题
类别不平衡怎么办?
问题
一千条记录里只有十个阳性。模型准确率很高,却几乎一个阳性都找不到。怎样训练和评估才有意义?
快速回答
先明确误报和漏报的代价,用混淆矩阵、阳性的精确率与召回率检查问题。验证和测试尽量保持实际部署的类别比例。先试类别加权与阈值调整,再按同样的验证规则判断重采样是否有收益。
原因解释
每次都预测阴性仍有
处理建议
- 核实稀有类别标签,统计独立主体或事件的阳性数。无时间、分组约束时可用分层划分。
- 训练时比较不加权、类别加权和折内重采样。保留原分布的验证折,检查阳性样本数和错误数。
- 按业务选择阈值。例如每天最多复核 20 个告警,可比较各模型置信度最高的 20 个告警中检出多少真实事件。
- 若需要输出真实概率,用接近部署分布的数据检查校准,尤其关注重采样或加权后的概率偏差。
特殊情况
故障事件若来自同一设备的连续记录,要按设备或事件划分以免重复信号跨折。若阳性太少,报告实际数目和逐例错误,并降低对单一指标的依赖。
常见误区
先复制少数类样本,再随机拆分,重复样本可能进入训练和测试。用一个固定阈值衡量所有场景,也可能忽略工作量和漏报成本。