主题
逻辑回归与分类建模
方法速览
- 主要用途 估计二分类的正类概率,并按阈值作出决策。
- 必要输入 可靠的二元标签、预测时可用的特征,以及定阈值所需的代价或指标。
- 适用条件 特征与正类对数几率的关系近似线性,样本覆盖应用场景。
- 典型不适用情况 弱标签或泄漏特征主导分类,或线性得分难以表达类别边界。
- 最低限度的验证方式 在验证集定阈值,在留出集核对混淆矩阵。使用概率时检查校准。
逻辑回归适合什么场景
当结果是两类,且有足够的标签时,逻辑回归可以估计
概率、对数几率与分类
记线性得分
固定其他特征时,第
只有决定采取什么行动时才需要阈值
应该和哪些模型比较
线性回归可以直接输出一个数,但它可能小于零或大于一,且其误差模型与二元标签不匹配。逻辑回归对特征采用线性的对数几率。若分界主要由按条件触发的规则决定,可比较浅决策树。若主要需要按分类得分给样本排序,可以比较线性 SVM 的区分表现。类别非常少、完全分离或数据高度相关时,无惩罚的逻辑回归可能不稳定,先检查样本和变量,再试正则化。
假设算例中怎样把概率换成行动
假设一个延误模型为
容易出现的三个错误
延误完成后才产生的“实际发货时间”若作为预测输入,会产生信息泄漏。极不平衡时,全部预测为多数类也可能有很高的准确率。分离数据上系数特别大时,先检查特征是否复制了标签,或少数样本是否左右了边界。模型的符号和系数应结合编码、单位和变量相关性解释。
首次分类验证
用与业务吻合的方式切分数据,例如按时间留出最近批次或按主体分组。报告正类比例、简单基线与所选阈值下的混淆矩阵。漏报重要时检查召回率和精确率之间的取舍。准备直接使用概率时,画可靠性图,将每组平均预测概率和实际正类比例对照,并注明样本数。在验证集定阈值,最后再用测试集评估。
若为平衡类别而重采样训练集,验证集应尽量反映实际发生率。用重采样后的类别比例直接解释业务概率,可能导致误估总复核量。
双语言实验
上面的延误案例给定了模型系数,这里从带标签的记录出发估计系数。训练集由十条模拟记录组成,输入是已经中心化的业务评分,输出为是否实际延误。训练集中同一个分数可以同时出现正、负样本,表示还有其他因素影响延误。四条留出记录只在拟合后使用,便于看到同一概率在不同决策阈值下会怎样改变复核人数。
从对数损失到梯度
对一条记录,设
零截距意味着
运行原理实现
- Python 环境安装
python -m pip install numpy matplotlib后,在下载目录运行python mmf_logistic.py。 - MATLAB 在下载目录运行
result = mmf_logistic(),使用基础函数和yline,建议 R2018b 或更新版本,无需工具箱。
用四个带标签的点演示一次平均交叉熵梯度更新。初始概率均为 0.5,更新后 x=1 的正类概率约 0.679。完整实践再做多轮迭代和验证。
最简版依赖 Python:无第三方依赖。MATLAB:基础功能,无需额外工具箱。
在源码所在目录运行 python mmf_min_logistic.py
py
下载当前源码import json
from math import exp
x = [-2, -1, 1, 2]
y = [0, 0, 1, 1]
rate = 1.0
# 截距和斜率从零开始,sigmoid(0)=0.5;交叉熵对线性分数的导数为 p-y。
errors = [0.5 - label for label in y]
intercept = -rate * sum(errors) / len(x)
slope = -rate * sum(value * error for value, error in zip(x, errors)) / len(x)
# 用更新后的系数对留出的 x=1 计算正类概率。
probability = 1 / (1 + exp(-(intercept + slope)))
assert intercept == 0 and slope == 0.75 and 0.67 < probability < 0.69
result = {"intercept": intercept, "slope": slope, "probability_at_one": probability}
print("LAB_RESULT " + json.dumps(result, ensure_ascii=False))Python 的 design.T @ ... 与 MATLAB 的 X' * ... 都将样本误差累加为两个梯度分量。Python 用 logaddexp 算
用标准函数复核
Python 需要额外安装 scikit-learn。下面采用二分类、等权重的 L2 目标,按 fitclinear 需要 Statistics and Machine Learning Toolbox,直接设置 Lambda,并选择适合岭正则化的 LBFGS 求解器。两个求解过程都无须构造常数特征列,截距由接口单独估计。可将概率与原理程序比较,几位小数内的偏差与停止条件有关。 scikit-learn 逻辑回归目标 · MathWorks fitclinear 参数
python
import numpy as np
from sklearn.linear_model import LogisticRegression
# [:, None] 将一维评分变为“样本数 × 1”矩阵,y 仍是逐样本标签。
x = np.array([-3, -2, -1, -1, 0, 0, 1, 1, 2, 3])[:, None]
y = [0, 0, 0, 1, 0, 1, 0, 1, 1, 1]
x_test = np.array([-2.5, -0.5, 0.5, 2.5])[:, None]
# 按等权平均损失的口径将惩罚系数 lambda=0.1 转为 C=1/(n*lambda)。
model = LogisticRegression(C=1 / (len(y) * 0.1), solver="lbfgs", tol=1e-10).fit(x, y)
# 概率列按 classes_ 排列,用标签 1 找到正类列。
print(model.predict_proba(x_test)[:, list(model.classes_).index(1)])matlab
% MATLAB 用分号分隔样本行,单特征、标签和留出评分均为列向量。
x = [-3; -2; -1; -1; 0; 0; 1; 1; 2; 3];
y = [0; 0; 0; 1; 0; 1; 0; 1; 1; 1];
xTest = [-2.5; -0.5; 0.5; 2.5];
% 显式选择逻辑损失和岭惩罚;Lambda 作用于斜率。
mdl = fitclinear(x, y, 'Learner', 'logistic', 'Regularization', 'ridge', ...
'Solver', 'lbfgs', 'Lambda', 0.1, 'ClassNames', [0, 1]);
% 此处关心正类概率。用 ~ 丢弃预测类别,再按 ClassNames 取列。
[~, score] = predict(mdl, xTest);
disp(score(:, mdl.ClassNames == 1))参数练习
保持系数和留出记录固定,把阈值从 false_negatives。