Skip to content

支持向量机(SVM) ​

方法速览 ​

  • 主要用途 用最大间隔思想建立分类边界。
  • 必要输入 已标注样本、可用的数值特征和合适的尺度。
  • 适用条件 线性 SVM 可用于稀疏高维数据。核 SVM 更适合样本量可控的非线性任务。
  • 典型不适用情况 大样本下难以承担核计算成本,或需直接输出可用概率。
  • 最低限度的验证方式 在训练折内做标准化,在留出集比较基线并报告少数类召回率。

SVM 处理什么任务 ​

这里讨论有标签的分类。支持向量机从特征空间中寻找边界,使最靠近边界的训练样本仍有一定间隔。中小规模、连续特征或稀疏高维数据常可尝试线性 SVM。类别边界明显非线性且样本量可控时,可以比较核 SVM。核方法随样本量增大可能变得很耗时、耗内存,大规模实验先记录训练和预测成本。

从最大间隔到软间隔 ​

设标签 yi∈{−1,+1},线性得分 f(x)=w⊤x+b,按得分正负决定类别。允许样本落在间隔里或分错时,常用下面的目标。

minw,b12∥w∥2+C∑imax(0,1−yif(xi)).

括号中是合页损失。yif(xi) 达到 1 后这项为零。固定得分刻度后,两条间隔边线 f(x)=±1 的距离为 2/∥w∥。C 越大,违反间隔付出的代价越大,边界可能更贴合训练样本。处在边线或违反间隔的样本中,会有决定分类边界的支持向量。scikit-learn 用户指南的 SVM 数学形式

为什么尺度和核参数重要 ​

径向基核常写作 K(x,x′)=exp⁡(−γ∥x−x′∥2)。γ 较大时,样本影响集中在更短距离,边界可能贴着局部分布。一个以千米计的特征若被改成米,其数值尺度可能主导距离。用训练数据估计标准化参数,然后在验证与部署时复用。仅在有根据时比较核,避免连续扩大参数搜索直至验证集偶然出现较高分数。

用四个假设样本手算最大间隔边界 ​

设单特征样本 x=0,1 属负类,x=3,4 属正类,且考虑无误分类的硬间隔。两类最近点是 1 和 3,边界在二者中间 x=2。取 f(x)=x−2,边线恰为 x=1 与 x=3,间隔宽度为 2。x=2.4 的得分为 0.4,判为正类。若新增一个正类点 x=0,两类在相同位置有相反标签,硬间隔无可行解。可以检查测量和标签,再用允许违约的软间隔模型。

何时选近似方法 ​

若需要直接解释特征对对数几率的关系,或需要可用的初始概率,可先比较逻辑回归。SVM 的得分用于分界与排序,想把它当概率需额外校准并验证。表格里特征常由条件规则组合时,可以比较树模型。边界高度重叠、有严重标错或关键特征缺失时,调大 C 可能只会放大异常样本的影响。

初次实测与常见失误 ​

先用同一数据划分比较多数类基线、逻辑回归和线性 SVM,再用验证集比较少量尺度上的 C 与 γ。对类别不平衡的任务,检查类权重、混淆矩阵和少数类召回率。重复主体应按主体切分,所有标准化参数都从训练折估计。若训练分数很高、验证分数很低,缩小核复杂度并排查特征泄漏。

准备部署核模型时,额外记录支持向量数量和单次预测耗时。预测一个新样本需要计算它与支持向量的核相似度,验证分数接近时,这个成本可能左右方案选择。

双语言实验 ​

沿用前面的硬间隔设定,但给样本加上第二个坐标。横坐标可理解为标准化的检测分数,纵坐标是另一项标准化指标。六条合成训练记录已知正、负标签,四条独立留出样本放在边界两侧。实验用可手算的硬间隔解给出参照,再与库的线性软间隔模型比较。

从两条约束证明最优 ​

设 u=(1,1) 为负类,v=(3,1) 为正类。任何满足硬间隔约束的 w,b 都有

w⊤v+b≥1,w⊤u+b≤−1⟹2≤w⊤(v−u)≤∥w∥∥v−u∥.

这里 ∥v−u∥=2,所以任何可行解都有 ∥w∥≥1。令 w=(1,0),b=−2 后逐条检查,可以满足所有六个约束且达到下界,于是它最大化了间隔宽度。图上的三条线分别为 f(x)=0 和 f(x)=±1,圈出的两个训练样本到分类边界最近。程序用最近异类样本对构造候选,仍会检查所有约束。一般数据的异类凸包最近点可能位于两顶点构成的边上,此时这个构造可能无法给出解,应使用通用优化器。

拖动正类支持点,观察分界线和两条间隔边线怎样一起移动。图中仍用上述两点证实最优性。

运行原理实现 ​

下载 Python 源码 · 下载 MATLAB 源码

  • Python 环境安装 python -m pip install numpy matplotlib 后,在下载目录运行 python mmf_svm.py。
  • MATLAB 在下载目录运行 result = mmf_svm(),建议 R2016b 或更新版本,无需工具箱。

两类沿 x 轴完全可分。固定轴对齐的硬间隔边界,验证最靠近边界的点满足带符号间隔 1,输出总几何间隔 2。一般 SVM 仍需求解二次优化。

最简版依赖 Python:NumPy。MATLAB:基础功能,无需额外工具箱。

在源码所在目录运行 python mmf_min_svm.py

py
import json
import numpy as np

x = np.array([[0, 0], [1, 2], [3, 1], [4, 3]])
y = np.array([-1, -1, 1, 1])
# 该算例限制法向量沿第一轴;两条支持平面分别经过最近的负类和正类。
left = x[y == -1, 0].max()
right = x[y == 1, 0].min()
boundary = (left + right) / 2
weight = 2 / (right - left)
signed_margins = y * weight * (x[:, 0] - boundary)
assert np.allclose(signed_margins, [2, 1, 1, 2])
result = {"boundary": float(boundary), "signed_margins": signed_margins.tolist(), "width": float(2 / weight)}
print("LAB_RESULT " + json.dumps(result, ensure_ascii=False))
下载当前源码

Python 用广播生成所有异类点对的差。MATLAB 用矩阵按列存距离,再用 ind2sub 找到行列,把最近样本对还原。两种实现都用训练功能间隔 yif(xi) 检查全部约束。对照 weights、margin_width、以 1 为起点的 support_rows 以及留出预测。参考宽度为 2,支持点在训练第 3、4 行,留出准确率为 4/4,这只检验构造案例。

比较线性软间隔接口 ​

两个库版本都只使用线性核并显式关闭额外尺度变换,这里的 C=10 足以让该玩具数据得到与硬间隔相近的分界。对照留出预测和决策得分,允许求解器容差带来的小偏差。其他数据可能发生违反间隔或误分,需要按验证集选 C。Python 需额外安装 scikit-learn;MATLAB 的 fitcsvm 需 Statistics and Machine Learning Toolbox。 scikit-learn SVC 参数 · MathWorks fitcsvm 参数

python
from sklearn.svm import SVC

# 训练特征是二维坐标,标签用 -1/+1 标出边界两侧。
x = [[0, 0], [0, 3], [1, 1], [3, 1], [4, 0], [4, 3]]
y = [-1, -1, -1, 1, 1, 1]
x_test = [[1.25, 2], [1.75, 1.5], [2.25, 0.5], [2.75, 2]]
# 线性核保持原空间的直线分界;C 指定违反间隔的代价。
model = SVC(kernel="linear", C=10, tol=1e-8).fit(x, y)
# 决策得分带符号,用于核对留出预测;它未经概率校准。
print(model.decision_function(x_test))
print(model.predict(x_test))
matlab
% 两列存放坐标,四条留出记录用来核对得分的符号。
X = [0, 0; 0, 3; 1, 1; 3, 1; 4, 0; 4, 3];
y = [-1; -1; -1; 1; 1; 1];
XTest = [1.25, 2; 1.75, 1.5; 2.25, 0.5; 2.75, 2];
% 核尺度设为 1 且关闭标准化,使边界保留在原坐标系。
mdl = fitcsvm(X, y, 'KernelFunction', 'linear', 'KernelScale', 1, ...
    'BoxConstraint', 10, 'Standardize', false, 'ClassNames', [-1, 1]);
% 取 ClassNames 中正类对应的得分列,而不是依赖固定列号。
[label, score] = predict(mdl, XTest);
disp(score(:, mdl.ClassNames == 1))
disp(label)

参数练习 ​

将正类的 (3,1) 移到 (2.5,1)。先用约束算出最大间隔,再运行图形程序。为什么原来相同的那四条留出记录可能得到不同得分?

参考答案

现在最近的异类样本相距 1.5,中点的横坐标为 1.75,最优边界移至 x1=1.75。取 w=(4/3,0),b=−7/3,得到宽度 2/∥w∥=1.5。样本 (1.75,1.5) 恰好落到线上,代码规定得分大于或等于零时归正类。精确浮点边界附近的得分可能只差机器精度,阅读结果时可把非常小的绝对值视作边界不确定。若把正类点改到 (1,1),同一个坐标有相反标签,原理程序会报告不可行。

关联文章 ​

MathModel FAQ · 数学建模知识库