Skip to content

逻辑回归与分类建模 ​

方法速览 ​

  • 主要用途 估计二分类的正类概率,并按阈值作出决策。
  • 必要输入 可靠的二元标签、预测时可用的特征,以及定阈值所需的代价或指标。
  • 适用条件 特征与正类对数几率的关系近似线性,样本覆盖应用场景。
  • 典型不适用情况 弱标签或泄漏特征主导分类,或线性得分难以表达类别边界。
  • 最低限度的验证方式 在验证集定阈值,在留出集核对混淆矩阵。使用概率时检查校准。

逻辑回归适合什么场景 ​

当结果是两类,且有足够的标签时,逻辑回归可以估计 P(Y=1∣x),如某批零件超差、某天有订单延误的概率。它适合做可解释的初始模型,能用系数检查一个特征同预测方向是否符合常识。观测样本应尽量覆盖今后使用场景。若不同业务环节的记录方法不同,先确认正类定义是否一致。

概率、对数几率与分类 ​

记线性得分 z=β0+x⊤β,则

p=11+e−z,log⁡p1−p=z.

固定其他特征时,第 j 个连续特征提高一单位,正类几率 p/(1−p) 乘上 eβj。训练通常最小化二元对数损失,可加正则化来控制系数大小。

−1n∑i=1n[yilog⁡pi+(1−yi)log⁡(1−pi)].

只有决定采取什么行动时才需要阈值 τ。若把概率输入后续资源分配,还应检查概率校准。scikit-learn 用户指南的二分类概率与对数损失

应该和哪些模型比较 ​

线性回归可以直接输出一个数,但它可能小于零或大于一,且其误差模型与二元标签不匹配。逻辑回归对特征采用线性的对数几率。若分界主要由按条件触发的规则决定,可比较浅决策树。若主要需要按分类得分给样本排序,可以比较线性 SVM 的区分表现。类别非常少、完全分离或数据高度相关时,无惩罚的逻辑回归可能不稳定,先检查样本和变量,再试正则化。

假设算例中怎样把概率换成行动 ​

假设一个延误模型为 z=−2+0.8x,x 是发货前待处理环节数。若 x=3,得 z=0.4,于是 p≈0.599。采用阈值 0.5 会触发复核,采用 0.7 则保持原流程。假设一次误报复核成本为 1,一次漏报成本为 4,其余成本为 0。若概率已校准,触发成本的期望为 1−p,不触发为 4p,所以 p≥0.2 时触发更合算或相同。若每天复核名额有限,还要把容量限制纳入决策。

容易出现的三个错误 ​

延误完成后才产生的“实际发货时间”若作为预测输入,会产生信息泄漏。极不平衡时,全部预测为多数类也可能有很高的准确率。分离数据上系数特别大时,先检查特征是否复制了标签,或少数样本是否左右了边界。模型的符号和系数应结合编码、单位和变量相关性解释。

首次分类验证 ​

用与业务吻合的方式切分数据,例如按时间留出最近批次或按主体分组。报告正类比例、简单基线与所选阈值下的混淆矩阵。漏报重要时检查召回率和精确率之间的取舍。准备直接使用概率时,画可靠性图,将每组平均预测概率和实际正类比例对照,并注明样本数。在验证集定阈值,最后再用测试集评估。

若为平衡类别而重采样训练集,验证集应尽量反映实际发生率。用重采样后的类别比例直接解释业务概率,可能导致误估总复核量。

双语言实验 ​

上面的延误案例给定了模型系数,这里从带标签的记录出发估计系数。训练集由十条模拟记录组成,输入是已经中心化的业务评分,输出为是否实际延误。训练集中同一个分数可以同时出现正、负样本,表示还有其他因素影响延误。四条留出记录只在拟合后使用,便于看到同一概率在不同决策阈值下会怎样改变复核人数。

从对数损失到梯度 ​

对一条记录,设 zi=b+wxi。用 pi=σ(zi) 代入对数损失,可化成 log⁡(1+ezi)−yizi。对 zi 求导得到 pi−yi。设 X 的每一行是 (1,xi),并取 λ=0.1,则

J(b,w)=1n∑i=1n[log⁡(1+ezi)−yizi]+λ2w2,∇J=1nX⊤(p−y)+(0,λw)⊤.

零截距意味着 x=0 时预测概率为 0.5,斜率越大,概率跨过 0.5 时变化越快。每轮沿负梯度走有限一步。正则化抑制斜率过大,截距不受惩罚。右侧目标曲线用来检查这组步长下的收敛,左侧把训练标签、留出预测概率和判定阈值画在一起。拖动下面的阈值时,比较曲线与两类错误计数。

运行原理实现 ​

下载 Python 源码 · 下载 MATLAB 源码

  • Python 环境安装 python -m pip install numpy matplotlib 后,在下载目录运行 python mmf_logistic.py。
  • MATLAB 在下载目录运行 result = mmf_logistic(),使用基础函数和 yline,建议 R2018b 或更新版本,无需工具箱。

用四个带标签的点演示一次平均交叉熵梯度更新。初始概率均为 0.5,更新后 x=1 的正类概率约 0.679。完整实践再做多轮迭代和验证。

最简版依赖 Python:无第三方依赖。MATLAB:基础功能,无需额外工具箱。

在源码所在目录运行 python mmf_min_logistic.py

py
import json
from math import exp

x = [-2, -1, 1, 2]
y = [0, 0, 1, 1]
rate = 1.0
# 截距和斜率从零开始,sigmoid(0)=0.5;交叉熵对线性分数的导数为 p-y。
errors = [0.5 - label for label in y]
intercept = -rate * sum(errors) / len(x)
slope = -rate * sum(value * error for value, error in zip(x, errors)) / len(x)

# 用更新后的系数对留出的 x=1 计算正类概率。
probability = 1 / (1 + exp(-(intercept + slope)))
assert intercept == 0 and slope == 0.75 and 0.67 < probability < 0.69
result = {"intercept": intercept, "slope": slope, "probability_at_one": probability}
print("LAB_RESULT " + json.dumps(result, ensure_ascii=False))
下载当前源码

Python 的 design.T @ ... 与 MATLAB 的 X' * ... 都将样本误差累加为两个梯度分量。Python 用 logaddexp 算 log⁡(1+ez),MATLAB 用 max(z,0)+log⁡(1+e−|z|) 得到同一结果,两种形式都能防止指数溢出。先对照正则化后目标值(约 0.531536)和斜率(约 0.715035),再核对每条概率及误报、漏报数。小样本的准确率仅用于检查计算流程。

用标准函数复核 ​

Python 需要额外安装 scikit-learn。下面采用二分类、等权重的 L2 目标,按 C=1/(nλ) 换算。MATLAB 的 fitclinear 需要 Statistics and Machine Learning Toolbox,直接设置 Lambda,并选择适合岭正则化的 LBFGS 求解器。两个求解过程都无须构造常数特征列,截距由接口单独估计。可将概率与原理程序比较,几位小数内的偏差与停止条件有关。 scikit-learn 逻辑回归目标 · MathWorks fitclinear 参数

python
import numpy as np
from sklearn.linear_model import LogisticRegression

# [:, None] 将一维评分变为“样本数 × 1”矩阵,y 仍是逐样本标签。
x = np.array([-3, -2, -1, -1, 0, 0, 1, 1, 2, 3])[:, None]
y = [0, 0, 0, 1, 0, 1, 0, 1, 1, 1]
x_test = np.array([-2.5, -0.5, 0.5, 2.5])[:, None]
# 按等权平均损失的口径将惩罚系数 lambda=0.1 转为 C=1/(n*lambda)。
model = LogisticRegression(C=1 / (len(y) * 0.1), solver="lbfgs", tol=1e-10).fit(x, y)
# 概率列按 classes_ 排列,用标签 1 找到正类列。
print(model.predict_proba(x_test)[:, list(model.classes_).index(1)])
matlab
% MATLAB 用分号分隔样本行,单特征、标签和留出评分均为列向量。
x = [-3; -2; -1; -1; 0; 0; 1; 1; 2; 3];
y = [0; 0; 0; 1; 0; 1; 0; 1; 1; 1];
xTest = [-2.5; -0.5; 0.5; 2.5];
% 显式选择逻辑损失和岭惩罚;Lambda 作用于斜率。
mdl = fitclinear(x, y, 'Learner', 'logistic', 'Regularization', 'ridge', ...
    'Solver', 'lbfgs', 'Lambda', 0.1, 'ClassNames', [0, 1]);
% 此处关心正类概率。用 ~ 丢弃预测类别,再按 ClassNames 取列。
[~, score] = predict(mdl, xTest);
disp(score(:, mdl.ClassNames == 1))

参数练习 ​

保持系数和留出记录固定,把阈值从 0.5 提高到 0.7,先猜哪一条记录改变了预测,再在两个语言版本中对照 false_negatives。

参考答案

x=0.5 的预测概率约 0.588,从触发复核变成不触发复核,漏报增加 1。x=2.5 的概率约 0.857,仍触发。留出准确率从 4/4 变为 3/4。如果还要比较正则强弱,把 λ 改成 1 后重新拟合,斜率绝对值会减小,预测概率更靠近 0.5。真实阈值应基于验证集或已知决策代价确定。

关联文章 ​

MathModel FAQ · 数学建模知识库