主题
支持向量机(SVM)
方法速览
- 主要用途 用最大间隔思想建立分类边界。
- 必要输入 已标注样本、可用的数值特征和合适的尺度。
- 适用条件 线性 SVM 可用于稀疏高维数据。核 SVM 更适合样本量可控的非线性任务。
- 典型不适用情况 大样本下难以承担核计算成本,或需直接输出可用概率。
- 最低限度的验证方式 在训练折内做标准化,在留出集比较基线并报告少数类召回率。
SVM 处理什么任务
这里讨论有标签的分类。支持向量机从特征空间中寻找边界,使最靠近边界的训练样本仍有一定间隔。中小规模、连续特征或稀疏高维数据常可尝试线性 SVM。类别边界明显非线性且样本量可控时,可以比较核 SVM。核方法随样本量增大可能变得很耗时、耗内存,大规模实验先记录训练和预测成本。
从最大间隔到软间隔
设标签
括号中是合页损失。
为什么尺度和核参数重要
径向基核常写作
用四个假设样本手算最大间隔边界
设单特征样本
何时选近似方法
若需要直接解释特征对对数几率的关系,或需要可用的初始概率,可先比较逻辑回归。SVM 的得分用于分界与排序,想把它当概率需额外校准并验证。表格里特征常由条件规则组合时,可以比较树模型。边界高度重叠、有严重标错或关键特征缺失时,调大
初次实测与常见失误
先用同一数据划分比较多数类基线、逻辑回归和线性 SVM,再用验证集比较少量尺度上的
准备部署核模型时,额外记录支持向量数量和单次预测耗时。预测一个新样本需要计算它与支持向量的核相似度,验证分数接近时,这个成本可能左右方案选择。
双语言实验
沿用前面的硬间隔设定,但给样本加上第二个坐标。横坐标可理解为标准化的检测分数,纵坐标是另一项标准化指标。六条合成训练记录已知正、负标签,四条独立留出样本放在边界两侧。实验用可手算的硬间隔解给出参照,再与库的线性软间隔模型比较。
从两条约束证明最优
设
这里
拖动正类支持点,观察分界线和两条间隔边线怎样一起移动。图中仍用上述两点证实最优性。
运行原理实现
- Python 环境安装
python -m pip install numpy matplotlib后,在下载目录运行python mmf_svm.py。 - MATLAB 在下载目录运行
result = mmf_svm(),建议 R2016b 或更新版本,无需工具箱。
两类沿 x 轴完全可分。固定轴对齐的硬间隔边界,验证最靠近边界的点满足带符号间隔 1,输出总几何间隔 2。一般 SVM 仍需求解二次优化。
最简版依赖 Python:NumPy。MATLAB:基础功能,无需额外工具箱。
在源码所在目录运行 python mmf_min_svm.py
py
下载当前源码import json
import numpy as np
x = np.array([[0, 0], [1, 2], [3, 1], [4, 3]])
y = np.array([-1, -1, 1, 1])
# 该算例限制法向量沿第一轴;两条支持平面分别经过最近的负类和正类。
left = x[y == -1, 0].max()
right = x[y == 1, 0].min()
boundary = (left + right) / 2
weight = 2 / (right - left)
signed_margins = y * weight * (x[:, 0] - boundary)
assert np.allclose(signed_margins, [2, 1, 1, 2])
result = {"boundary": float(boundary), "signed_margins": signed_margins.tolist(), "width": float(2 / weight)}
print("LAB_RESULT " + json.dumps(result, ensure_ascii=False))Python 用广播生成所有异类点对的差。MATLAB 用矩阵按列存距离,再用 ind2sub 找到行列,把最近样本对还原。两种实现都用训练功能间隔 weights、margin_width、以 1 为起点的 support_rows 以及留出预测。参考宽度为
比较线性软间隔接口
两个库版本都只使用线性核并显式关闭额外尺度变换,这里的 scikit-learn;MATLAB 的 fitcsvm 需 Statistics and Machine Learning Toolbox。 scikit-learn SVC 参数 · MathWorks fitcsvm 参数
python
from sklearn.svm import SVC
# 训练特征是二维坐标,标签用 -1/+1 标出边界两侧。
x = [[0, 0], [0, 3], [1, 1], [3, 1], [4, 0], [4, 3]]
y = [-1, -1, -1, 1, 1, 1]
x_test = [[1.25, 2], [1.75, 1.5], [2.25, 0.5], [2.75, 2]]
# 线性核保持原空间的直线分界;C 指定违反间隔的代价。
model = SVC(kernel="linear", C=10, tol=1e-8).fit(x, y)
# 决策得分带符号,用于核对留出预测;它未经概率校准。
print(model.decision_function(x_test))
print(model.predict(x_test))matlab
% 两列存放坐标,四条留出记录用来核对得分的符号。
X = [0, 0; 0, 3; 1, 1; 3, 1; 4, 0; 4, 3];
y = [-1; -1; -1; 1; 1; 1];
XTest = [1.25, 2; 1.75, 1.5; 2.25, 0.5; 2.75, 2];
% 核尺度设为 1 且关闭标准化,使边界保留在原坐标系。
mdl = fitcsvm(X, y, 'KernelFunction', 'linear', 'KernelScale', 1, ...
'BoxConstraint', 10, 'Standardize', false, 'ClassNames', [-1, 1]);
% 取 ClassNames 中正类对应的得分列,而不是依赖固定列号。
[label, score] = predict(mdl, XTest);
disp(score(:, mdl.ClassNames == 1))
disp(label)参数练习
将正类的
参考答案
现在最近的异类样本相距