主题
主成分分析(PCA)
方法速览
- 主要用途 用少量线性组合概括连续特征的主要变动。
- 必要输入 样本特征矩阵、缺失值处理方式和是否缩放的依据。
- 适用条件 至少有两个样本且存在非零变动,主要结构可用低维线性子空间近似。
- 典型不适用情况 必须保留各字段原有含义,或下游任务主要依赖低方差方向。
- 最低限度的验证方式 检查累计解释方差。用于预测时,在同一留出集比较降维前后的表现。
什么时候需要压缩特征
当多列连续变量强相关、需要一幅低维图或想减少模型输入列时,主成分分析可以用少量线性组合概括数据的主要变动。例如用两三个综合轴查看多个传感器是否一起升降。PCA 的分量是原变量的混合,若必须保留原始字段含义,变量选择可能更直接。若为了构造综合评价,主成分能解释方差也无法直接证明各指标的重要性。
主成分的数学含义
把各列减去训练样本均值,得到矩阵
如何与相近方法区分
PCA 的判据是保留方差,适合在一个线性子空间里近似重构输入。相关性弱、特征代表不同作用时,压缩可能丢掉对目标有用的细节。分类标签的区别也可能恰好在低方差方向上。若目标是提升预测,应与保留原特征并正则化的模型比较。若主要是展示非线性形状,可以试非线性降维,但还需验证局部关系是否被二维图扭曲。
用两列完全同变的数据做假设算例
假设三次观测为
第一次检验要看什么
记录是否缩放、剔除了哪些常量列以及保留多少分量。画解释方差与累计解释方差曲线,检查各个载荷是否被单列或极端样本支配。若 PCA 为下游模型服务,只在训练折内拟合缩放与投影,并用同一划分比较原特征和降维后的指标。二维图的分群印象还应回到原特征或上游任务核对。
常见误用
混合不同量纲却直接使用协方差矩阵时,大尺度列往往主导结果。过度标准化也可能把原本噪声极大的列抬升到同等地位。追加数据后,接近的特征值对应方向可能旋转,此时可比较整体子空间。删掉常量列避免除零,验证阶段复用训练阶段记录的均值、尺度和方向。
动态演示
下面用同一组 4 个点
这只是你选的投影方向,不是 PCA 主成分
原始数据:4 个点 (2,1)、(1,2)、(−2,−1)、(−1,−2),均值 = (0.000, 0.000)。
1 / 7
参数说明
- 投影方向 θ(0–180°):你任意选择的投影方向;方向是一条线,θ 与 θ+180° 等价,所以只取半周。
- 对齐第一主成分:把 θ 设到 PC1 方向(45°)。
- 教学分步:点「下一步」依次看「原始数据 → 数据中心化 → 候选方向 → 投影 → 投影方差对比 → 信息保留 → 结论」。这是计算步骤演示,与真实的特征分解求解过程不同。
- 仅当
时才标注「当前方向 ≈ 第一主成分」;其它 θ 都只是你选的投影方向。
数值核对(与 examples/pca_demo.py 一致)
这组数据均值恰为
| 投影方向 θ | 0° | 30° | 45° | 90° | 135° | 180° |
|---|---|---|---|---|---|---|
| 投影方差 | 2.5 | 4.2321 | 4.5 | 2.5 | 0.5 | 2.5 |
投影方差
退化情况
当
口径说明:演示与 Python 算例用协方差分母
(教学口径);上文公式的 是无偏估计,两者只差一个常数因子,不改变主成分方向与 retention,仅整体缩放特征值。scikit-learn 的 explained_variance_用口径,其值等于此处 。
双语言实验
四个观测的两列指标均为无单位评分,取
Python 使用 NumPy、Matplotlib、scikit-learn,下载后运行 python mmf_pca.py。使用 MATLAB 时把文件存到当前文件夹,在命令行输入 mmf_pca。MATLAB 基础版的 eig 与 svd 足够计算,选读 pca 接口需要 Statistics and Machine Learning Toolbox。 Python 同时跑协方差特征分解和 sklearn PCA,MATLAB 用基础 SVD 核对特征分解。两份实现约定首坐标为正。比较了投影方向、方差保留比例和每点二维平方重构误差。
对三行二维观测列中心化后做样本协方差特征分解。两方向的方差分别是 5 与 0。比较方向时用绝对值消除特征向量的符号差。
最简版依赖 Python:NumPy。MATLAB:基础功能,无需额外工具箱。
在源码所在目录运行 python mmf_min_pca.py
py
下载当前源码import json
import numpy as np
# 行是样本,列是两个同量纲的特征。先从每列减均值。
x = np.array([[1., 2.], [2., 4.], [3., 6.]])
centered = x - x.mean(axis=0)
covariance = centered.T @ centered / (len(x) - 1)
# 对称特征分解给出彼此正交的方向。特征值是沿各方向的样本方差。
values, vectors = np.linalg.eigh(covariance)
principal = vectors[:, -1]
projected = centered @ principal
assert np.allclose(values, [0, 5])
assert np.isclose(projected.var(ddof=1), values[-1])
result = {"variances": values[::-1].tolist(), "direction_abs": np.abs(principal).tolist()}
print("LAB_RESULT " + json.dumps(result, ensure_ascii=False))对照时注意 np.linalg.eigh 默认升序,MATLAB eig 用 max 显式选最大值。库里采用
练习与解析
使