主题
K-means 聚类
方法速览
- 主要用途 按特征相似度给无标签样本分组,并给出各组中心。
- 必要输入 数值特征、可解释的欧氏距离尺度和候选簇数
。 - 适用条件 簇在欧氏空间中相对紧密,均值能够代表组内样本。
- 典型不适用情况 簇形状明显弯曲、离群点主导距离,或主要特征为无序类别。
- 最低限度的验证方式 比较不同初始化和相邻
的结果,核对成员稳定性与各组规模。
K-means 能回答什么
有许多样本、没有现成标签时,可以先按已知特征把相近样本分组,得到每组的中心和一份成员名单。例如按客流量和停留时长对站点分群,随后为各群设计不同的调研方案。分群前要把“相近”说清楚。本例可以按标准化后两项特征的欧氏距离比较,但每个尺度都代表实际取舍。
它为什么交替做两件事
给定群数
先固定中心,让每个点加入最近的簇。再固定分组,把每个非空簇内各坐标的平均值当作新中心。这两步各自都不会使
适合哪些数据,何时换方法
K-means 喜欢在欧氏空间中紧密、形状较规则且可用均值代表的组。离群点明显时,平方距离会把中心拉向极端值,可看看以样本为代表点的 K-medoids。若自然形状像两条弯曲的带状结构、还希望标记噪声点,比较 DBSCAN 并检查密度参数。若数据大多是无序类别,用整数把类别直接编码会引入虚假的大小和距离,宜选适合类别或混合变量的相异度及方法。
用等待时长做一个分组假设算例
假设四个站点平均等待时长为
如何选群数并核对结果
固定特征定义和预处理,用几个相邻的
容易影响解释的做法
直接把米计的路程和分钟计的时长放在同一距离里,样本间数值差异较大的列容易主导距离。若两列近乎重复,它们会重复强调同一信息。固定一次随机种子便只留下单个结果,也无法观察稳定性。若决定沿用这次分群给新样本分组,应保存特征顺序、标准化参数和中心,并明确远离所有中心的样本如何处理。建议同时把中心转换回原始单位,方便解释两组在实际业务中的差异。
双语言实验
假设九个服务点用两项同尺度指标描述。数据构造了三块紧密的区域,原始记录没有组名。固定
为什么均值能让中心更新更好
只看某个非空簇
展开产生的交叉项因
运行原理实现
- Python 环境安装
python -m pip install numpy matplotlib后,在下载目录运行python mmf_kmeans.py。 - MATLAB 在下载目录运行
result = mmf_kmeans(),用到基础 MATLAB 的隐式扩展,建议 R2016b 或更新版本,无需工具箱。
执行分配和均值更新,直到中心稳定。最终中心为 0.5、7.5,组内平方距离和 1;空簇保留其原中心。
最简版依赖 Python:NumPy。MATLAB:基础功能,无需额外工具箱。
在源码所在目录运行 python mmf_min_kmeans.py
py
下载当前源码import json
import numpy as np
x = np.array([0., 1., 7., 8.])
centers = np.array([0., 7.])
for _ in range(20):
# 广播出「样本×中心」距离矩阵,每行选最近的一列。
squared = (x[:, None] - centers) ** 2
labels = squared.argmin(axis=1)
updated = centers.copy()
for cluster in range(len(centers)):
members = x[labels == cluster]
if members.size:
updated[cluster] = members.mean()
if np.array_equal(updated, centers):
break
centers = updated
else:
raise RuntimeError("中心未稳定")
sse = float(((x - centers[labels]) ** 2).sum())
assert np.array_equal(centers, [.5, 7.5]) and sse == 1
result = {"centers": centers.tolist(), "groups": (labels + 1).tolist(), "sse": sse}
print("LAB_RESULT " + json.dumps(result, ensure_ascii=False))Python 用三维广播一次生成所有点与中心的坐标差;MATLAB 逐列填充“样本 × 簇”的距离矩阵,对整批样本减同一个中心。Python 索引从 0 开始,MATLAB 索引从 1 开始;两者都在距离相同时取最先出现的中心。实现遇空簇时保留原中心。比较两次运行先看 objective_trace 的首尾与轨迹,再看 same_cluster 矩阵。若某点从“簇 1”变成“簇 2”,但所有与它同组的点都没变,划分仍相同。
用标准函数复核
Python 额外安装 scikit-learn。在两种语言里都明确给出初始中心、只拟合一次,并关掉重新选择初始化的比较干扰。MATLAB 的 kmeans 需 Statistics and Machine Learning Toolbox。这个数据中没有距离并列和空簇,终点可比较总簇内平方和
python
import numpy as np
from sklearn.cluster import KMeans
# 每行一个点,两列是无须额外换算尺度的数值特征。
x = np.array([[1, 1], [1, 2], [2, 1], [4, 1], [4, 2], [5, 1],
[8, 6], [8, 7], [9, 6]], dtype=float)
# Python 下标从零开始;采用给定三中心做一次 Lloyd 迭代求解。
model = KMeans(n_clusters=3, init=x[[0, 3, 6]], n_init=1, algorithm="lloyd").fit(x)
# inertia_ 是所有点到各自中心的平方距离和;同簇矩阵允许交换簇号。
print(model.inertia_)
print((model.labels_[:, None] == model.labels_).astype(int))matlab
% 行是样本,列是特征;引号内的参数名用来对齐初值及距离类型。
X = [1, 1; 1, 2; 2, 1; 4, 1; 4, 2; 5, 1; 8, 6; 8, 7; 9, 6];
% MATLAB 行号从 1 开始,取第 1、4、7 行为中心。idx 存储每条记录的归属。
[idx, ~, sumd] = kmeans(X, 3, 'Start', X([1, 4, 7], :), ...
'Replicates', 1, 'Distance', 'sqeuclidean');
% sumd 按簇存储平方距离和;再求和才得到全体目标值。
disp(sum(sumd))
disp(double(idx == idx.'))参数练习
看图中的两条轨迹。若初始中心选在同一区域,起始
参考答案
原始样本的第一组初值给出