Skip to content

高斯朴素贝叶斯分类 ​

方法速览 ​

  • 主要用途 根据连续特征的类内分布和类别先验做快速分类。
  • 必要输入 带类别的样本、可近似为类内高斯分布的连续特征,以及先验假设。
  • 适用条件 给定类别后,特征近似独立,或依赖程度没有严重影响预测。
  • 典型不适用情况 类内分布明显多峰、单峰高斯难以代表,或多个强相关特征重复携带同样的信息。
  • 最低限度的验证方式 看独立测试误差。若要把预测概率用于决策,再验证概率校准。

三种概率各自回答什么 ​

检修人员读到了两路传感器数据,想判断一台新设备是否异常。异常先验 π1=P(Y=1) 表示看传感器之前对异常比例的估计。类条件似然描述“如果设备确实异常,当前读数在异常分布中的相对常见程度”。后验 P(Y=1∣x) 表示读过数据后如何更新对异常的判断。对连续变量,似然由概率密度计算,某个精确读数本身的概率为零。

高斯朴素贝叶斯用一组类内均值和方差描述每列特征。在给定类别 c 的条件下近似独立,于是联合密度写成各列高斯密度的乘积。实际计算对数时乘积变成加法:

sc(x)=log⁡πc−12∑j=1p[log⁡(2πσcj2)+(xj−μcj)2σcj2],P(Y=c∣x)=exp⁡(sc(x))∑lexp⁡(sl(x)).

分母让所有类别后验加起来为 1。计算前将每类 sc 减去同一个最大值,分子分母等比例缩放,结果不变。

双语言实验 ​

十二条训练记录各有两路连续合成读数,两个类别各六条,且在边界附近重叠。先从训练样本分别估计各类、各列的均值和极大似然方差。然后固定这些参数,分别用 P(Y=1)=0.5 和 0.2 给四条留出记录计算后验。两幅图共用 0∼1 色阶,黑线表示后验等于 0.5,便于看到降低正类先验怎样改变边界。

运行原理实现 ​

下载 Python 源码 · 下载 MATLAB 源码

  • Python 环境安装 python -m pip install numpy matplotlib 后,在下载目录运行 python mmf_gaussian_nb.py。
  • MATLAB 在下载目录运行 result = mmf_gaussian_nb(),使用基础向量化和绘图函数,建议 R2016b 或更新版本,无需工具箱。

先从两个类各三项观测估计均值与类内方差,再将条件密度乘先验并归一化。x=4.5 偏向均值 5 的类,正类后验约 0.989。

最简版依赖 Python:无第三方依赖。MATLAB:基础功能,无需额外工具箱。

在源码所在目录运行 python mmf_min_gaussian_nb.py

py
import json
from math import exp, pi, sqrt
from statistics import mean, pvariance

classes = [[1, 2, 3], [4, 5, 6]]
query = 4.5
priors = [.5, .5]
# 每类独立估计参数;最大似然方差按组内样本数 n 除,本例均非零。
means = [mean(group) for group in classes]
variances = [pvariance(group) for group in classes]
joint = []
for prior, center, variance in zip(priors, means, variances):
    density = exp(-(query - center) ** 2 / (2 * variance)) / sqrt(2 * pi * variance)
    joint.append(prior * density)
posterior = [score / sum(joint) for score in joint]
assert 0.98 < posterior[1] < 1
result = {"means": means, "variances": variances, "posterior": posterior}
print("LAB_RESULT " + json.dumps(result, ensure_ascii=False))
下载当前源码

Python 的 var(axis=0, ddof=0) 和 MATLAB 的 var(rows, 1, 1) 都沿列计算方差,并用本类样本数作分母。程序设置方差下界 10−9,避免某类某列恒定时除以零。Python 把查询与类别扩展为三维数组,MATLAB 依类别填入对数联合得分矩阵。按顺序核对 class_means、class_variances、test_positive_probability 和 test_predictions,两行结果依次对应两组先验。预测准确率仅说明程序如何流转。

用标准函数复核 ​

Python 额外安装 scikit-learn。GaussianNB 采用向方差添加小量的策略,代码里的类内方差都充足,因此此库对照关闭该平滑项。MATLAB fitcnb 需 Statistics and Machine Learning Toolbox,指定每列使用高斯分布,并直接传入类先验。查看库版本的方差估计方法及默认先验,再解释后验的数值差异;两种原理实现用的是统一口径。 scikit-learn GaussianNB 参数 · MathWorks fitcnb 参数

python
from sklearn.naive_bayes import GaussianNB

# 十二条训练行依类别排列,每行记录两种传感器读数。
train = [[1, 2], [1.5, 2.5], [2, 1.5], [2.5, 2.2], [3, 3.5], [3.3, 2.8],
         [3, 3], [3.5, 4], [4.5, 3.5], [5, 5], [4.2, 4.8], [5.4, 4.4]]
labels = [0] * 6 + [1] * 6
test = [[1.5, 2.0], [3.1, 3.25], [3.4, 3.4], [4.8, 4.4]]
for prior in [[0.5, 0.5], [0.8, 0.2]]:
    # 元素顺序是类 0、类 1。此数据各类各列方差为正,可关闭方差平滑作对照。
    model = GaussianNB(priors=prior, var_smoothing=0).fit(train, labels)
    # 对照两组先验下的正类后验,列索引使用模型的类别顺序。
    print(model.predict_proba(test)[:, list(model.classes_).index(1)])
matlab
% 前六行的标签为 0,后六行为 1;留出查询单独存储。
train = [1, 2; 1.5, 2.5; 2, 1.5; 2.5, 2.2; 3, 3.5; 3.3, 2.8; ...
         3, 3; 3.5, 4; 4.5, 3.5; 5, 5; 4.2, 4.8; 5.4, 4.4];
labels = [zeros(6, 1); ones(6, 1)];
test = [1.5, 2.0; 3.1, 3.25; 3.4, 3.4; 4.8, 4.4];
priors = [0.5, 0.5; 0.8, 0.2];
for s = 1:size(priors, 1)
    % 对各类各列拟合普通正态密度,当前循环行只指定类别先验。
    mdl = fitcnb(train, labels, 'DistributionNames', 'normal', ...
        'Prior', priors(s, :), 'ClassNames', [0, 1]);
    % posterior 每列对应一个类别,这里只展示正类列。
    [~, posterior] = predict(mdl, test);
    disp(posterior(:, mdl.ClassNames == 1).')
end

参数练习 ​

只改先验。用第 3 条留出记录 (3.4,3.4) 核对,为什么类内均值、方差完全相同,预测却可能改变?再比较离边界较远的第 4 条记录。

参考答案

第 3 条记录的正类后验从约 0.748 降至 0.426,跨过 0.5。正负后验几率等于两类的似然比乘以先验几率,改动先验使 π1/π0 从 1 降至 0.25,相同观测给正类的证据不足以抵消这项变化。第 4 条记录靠近正类密集区域,改动先验后仍判为正类。这里的先验来自人为设定,实际使用要判断部署环境的类别比例能否估计,且类内特征分布是否仍和训练环境接近。

常见误区 ​

两路传感器若近乎复制同一个信号,乘上两份似然会重复计算同一证据,后验可能过于自信。类别内呈现多峰或重尾时,单一高斯分布也会低估某些区域。可对每类画特征分布、检查类内相关性,并在保留数据上复核预测和校准,再考虑是否更换模型。

关联文章 ​

MathModel FAQ · 数学建模知识库