主题
高斯朴素贝叶斯分类
方法速览
- 主要用途 根据连续特征的类内分布和类别先验做快速分类。
- 必要输入 带类别的样本、可近似为类内高斯分布的连续特征,以及先验假设。
- 适用条件 给定类别后,特征近似独立,或依赖程度没有严重影响预测。
- 典型不适用情况 类内分布明显多峰、单峰高斯难以代表,或多个强相关特征重复携带同样的信息。
- 最低限度的验证方式 看独立测试误差。若要把预测概率用于决策,再验证概率校准。
三种概率各自回答什么
检修人员读到了两路传感器数据,想判断一台新设备是否异常。异常先验
高斯朴素贝叶斯用一组类内均值和方差描述每列特征。在给定类别
分母让所有类别后验加起来为 1。计算前将每类
双语言实验
十二条训练记录各有两路连续合成读数,两个类别各六条,且在边界附近重叠。先从训练样本分别估计各类、各列的均值和极大似然方差。然后固定这些参数,分别用
运行原理实现
- Python 环境安装
python -m pip install numpy matplotlib后,在下载目录运行python mmf_gaussian_nb.py。 - MATLAB 在下载目录运行
result = mmf_gaussian_nb(),使用基础向量化和绘图函数,建议 R2016b 或更新版本,无需工具箱。
先从两个类各三项观测估计均值与类内方差,再将条件密度乘先验并归一化。x=4.5 偏向均值 5 的类,正类后验约 0.989。
最简版依赖 Python:无第三方依赖。MATLAB:基础功能,无需额外工具箱。
在源码所在目录运行 python mmf_min_gaussian_nb.py
py
下载当前源码import json
from math import exp, pi, sqrt
from statistics import mean, pvariance
classes = [[1, 2, 3], [4, 5, 6]]
query = 4.5
priors = [.5, .5]
# 每类独立估计参数;最大似然方差按组内样本数 n 除,本例均非零。
means = [mean(group) for group in classes]
variances = [pvariance(group) for group in classes]
joint = []
for prior, center, variance in zip(priors, means, variances):
density = exp(-(query - center) ** 2 / (2 * variance)) / sqrt(2 * pi * variance)
joint.append(prior * density)
posterior = [score / sum(joint) for score in joint]
assert 0.98 < posterior[1] < 1
result = {"means": means, "variances": variances, "posterior": posterior}
print("LAB_RESULT " + json.dumps(result, ensure_ascii=False))Python 的 var(axis=0, ddof=0) 和 MATLAB 的 var(rows, 1, 1) 都沿列计算方差,并用本类样本数作分母。程序设置方差下界 class_means、class_variances、test_positive_probability 和 test_predictions,两行结果依次对应两组先验。预测准确率仅说明程序如何流转。
用标准函数复核
Python 额外安装 scikit-learn。GaussianNB 采用向方差添加小量的策略,代码里的类内方差都充足,因此此库对照关闭该平滑项。MATLAB fitcnb 需 Statistics and Machine Learning Toolbox,指定每列使用高斯分布,并直接传入类先验。查看库版本的方差估计方法及默认先验,再解释后验的数值差异;两种原理实现用的是统一口径。 scikit-learn GaussianNB 参数 · MathWorks fitcnb 参数
python
from sklearn.naive_bayes import GaussianNB
# 十二条训练行依类别排列,每行记录两种传感器读数。
train = [[1, 2], [1.5, 2.5], [2, 1.5], [2.5, 2.2], [3, 3.5], [3.3, 2.8],
[3, 3], [3.5, 4], [4.5, 3.5], [5, 5], [4.2, 4.8], [5.4, 4.4]]
labels = [0] * 6 + [1] * 6
test = [[1.5, 2.0], [3.1, 3.25], [3.4, 3.4], [4.8, 4.4]]
for prior in [[0.5, 0.5], [0.8, 0.2]]:
# 元素顺序是类 0、类 1。此数据各类各列方差为正,可关闭方差平滑作对照。
model = GaussianNB(priors=prior, var_smoothing=0).fit(train, labels)
# 对照两组先验下的正类后验,列索引使用模型的类别顺序。
print(model.predict_proba(test)[:, list(model.classes_).index(1)])matlab
% 前六行的标签为 0,后六行为 1;留出查询单独存储。
train = [1, 2; 1.5, 2.5; 2, 1.5; 2.5, 2.2; 3, 3.5; 3.3, 2.8; ...
3, 3; 3.5, 4; 4.5, 3.5; 5, 5; 4.2, 4.8; 5.4, 4.4];
labels = [zeros(6, 1); ones(6, 1)];
test = [1.5, 2.0; 3.1, 3.25; 3.4, 3.4; 4.8, 4.4];
priors = [0.5, 0.5; 0.8, 0.2];
for s = 1:size(priors, 1)
% 对各类各列拟合普通正态密度,当前循环行只指定类别先验。
mdl = fitcnb(train, labels, 'DistributionNames', 'normal', ...
'Prior', priors(s, :), 'ClassNames', [0, 1]);
% posterior 每列对应一个类别,这里只展示正类列。
[~, posterior] = predict(mdl, test);
disp(posterior(:, mdl.ClassNames == 1).')
end参数练习
只改先验。用第 3 条留出记录
参考答案
第 3 条记录的正类后验从约
常见误区
两路传感器若近乎复制同一个信号,乘上两份似然会重复计算同一证据,后验可能过于自信。类别内呈现多峰或重尾时,单一高斯分布也会低估某些区域。可对每类画特征分布、检查类内相关性,并在保留数据上复核预测和校准,再考虑是否更换模型。