主题
样本量很少时应该选择什么模型?
问题
只有几十个观测,还想用多个特征预测结果。应该先试哪些模型,怎样判断复杂模型是否值得用?
快速回答
从常数基线、少量特征的线性回归或逻辑回归开始。特征较多或高度相关时,可以尝试岭回归等正则化方法。以独立观测单位和任务难度判断样本量,在合适的验证划分下比较简单模型与复杂模型。
原因解释
小样本下,模型越灵活,越容易顺着偶然波动拟合。比如 12 家门店各贡献 10 周记录,表里虽有 120 行,评价对新门店的泛化时仍只有 12 个门店可供比较。回归系数的稳定性还取决于特征相关性、观测覆盖范围和噪声水平。
处理建议
- 确定目标是预测新主体、已有主体的未来,还是估计总体关系,再决定按主体、时间或独立样本划分。
- 先按领域知识锁定少量候选特征。把标准化、特征选择和调参放进每次训练折。
- 报告各折误差与样本数。逐组留出或检查影响点,看看误差是否集中在一个主体、系数符号是否随切分频繁翻转。
- 当候选模型分数相近、排序不稳定时,用参数少且有明确解释的模型,并说明适用范围。
特殊情况
若某类事件仅有一两个独立实例,多折验证很难让每折都有足够的正例。可以先用规则给出初步判断,展示每个正例的预测结果,并明确后续要补采的事件类型。
常见误区
把合成样本当作新增独立证据,或根据同一份验证结果反复筛特征和选模型,都会让报告中的泛化表现显得过好。