Skip to content

主成分分析(PCA) ​

方法速览 ​

  • 主要用途 用少量线性组合概括连续特征的主要变动。
  • 必要输入 样本特征矩阵、缺失值处理方式和是否缩放的依据。
  • 适用条件 至少有两个样本且存在非零变动,主要结构可用低维线性子空间近似。
  • 典型不适用情况 必须保留各字段原有含义,或下游任务主要依赖低方差方向。
  • 最低限度的验证方式 检查累计解释方差。用于预测时,在同一留出集比较降维前后的表现。

什么时候需要压缩特征 ​

当多列连续变量强相关、需要一幅低维图或想减少模型输入列时,主成分分析可以用少量线性组合概括数据的主要变动。例如用两三个综合轴查看多个传感器是否一起升降。PCA 的分量是原变量的混合,若必须保留原始字段含义,变量选择可能更直接。若为了构造综合评价,主成分能解释方差也无法直接证明各指标的重要性。

主成分的数学含义 ​

把各列减去训练样本均值,得到矩阵 Xc,其中一行是一个样本。需要消除量纲差异时,先用训练集各列标准差缩放。若有 n>1 个样本,则样本协方差矩阵和第一主成分的取法为

S=Xc⊤Xcn−1,v1=arg⁡max∥v∥2=1v⊤Sv.

v1 可取最大特征值对应的单位特征向量。其余方向与前面的方向正交,依次解释剩余的最大方差。样本得分是 Xcv1,当总方差大于零时,第一分量的解释方差比例是 λ1/∑jλj。无需强求方向符号一致,整条轴翻转同时改变载荷和得分符号。scikit-learn 用户指南的主成分分析

如何与相近方法区分 ​

PCA 的判据是保留方差,适合在一个线性子空间里近似重构输入。相关性弱、特征代表不同作用时,压缩可能丢掉对目标有用的细节。分类标签的区别也可能恰好在低方差方向上。若目标是提升预测,应与保留原特征并正则化的模型比较。若主要是展示非线性形状,可以试非线性降维,但还需验证局部关系是否被二维图扭曲。

用两列完全同变的数据做假设算例 ​

假设三次观测为 (1,1),(2,2),(3,3)。两列均值都是 2,中心化后是 (−1,−1),(0,0),(1,1)。S 的四项均为 1,特征值为 2,0,第一个单位方向为 (1,1)/2。三次得分是 −2,0,2,第一轴解释全部方差。将得分 2 乘回该方向并加上均值,得到 (3,3)。真实数据通常会损失部分信息,损失多少取决于保留维数和原数据结构。

第一次检验要看什么 ​

记录是否缩放、剔除了哪些常量列以及保留多少分量。画解释方差与累计解释方差曲线,检查各个载荷是否被单列或极端样本支配。若 PCA 为下游模型服务,只在训练折内拟合缩放与投影,并用同一划分比较原特征和降维后的指标。二维图的分群印象还应回到原特征或上游任务核对。

常见误用 ​

混合不同量纲却直接使用协方差矩阵时,大尺度列往往主导结果。过度标准化也可能把原本噪声极大的列抬升到同等地位。追加数据后,接近的特征值对应方向可能旋转,此时可比较整体子空间。删掉常量列避免除零,验证阶段复用训练阶段记录的均值、尺度和方向。

动态演示 ​

下面用同一组 4 个点 (2,1),(1,2),(−2,−1),(−1,−2) 演示「投影方向」与「主成分」的区别。拖动 θ 滑块选择任意投影方向(红色线),它与两条主成分方向(PC1 实线、PC2 虚线)分开绘制;只有使投影方差最大的方向才是 PC1。

PCA 投影演示:投影方向 ≠ 主成分,只有方差最大的方向才是 PC1
-2-2-1-11122
PC1PC2投影方向 θ →

这只是你选的投影方向,不是 PCA 主成分

原始数据:4 个点 (2,1)、(1,2)、(−2,−1)、(−1,−2),均值 = (0.000, 0.000)。

1 / 7
投影方向 ≠ 主成分:只有使投影方差最大的方向才是 PC1。拖动 θ 滑块选择任意方向,红色线只是你选的方向; 仅当 θ 接近 45° 时才标注「当前方向≈第一主成分」。下方曲线给出方差随方向变化的完整图景,峰值即 PC1。 本演示为教学分步(计算步骤演示),与真实的特征分解求解过程不同。

参数说明

  • 投影方向 θ(0–180°):你任意选择的投影方向;方向是一条线,θ 与 θ+180° 等价,所以只取半周。
  • 对齐第一主成分:把 θ 设到 PC1 方向(45°)。
  • 教学分步:点「下一步」依次看「原始数据 → 数据中心化 → 候选方向 → 投影 → 投影方差对比 → 信息保留 → 结论」。这是计算步骤演示,与真实的特征分解求解过程不同。
  • 仅当 |θ−45∘|<1∘ 时才标注「当前方向 ≈ 第一主成分」;其它 θ 都只是你选的投影方向。

数值核对(与 examples/pca_demo.py 一致)

这组数据均值恰为 (0,0),按教学口径(协方差分母取 n)算得

C=Xc⊤Xcn=[2.5222.5],λ1=4.5,λ2=0.5,retention=4.54.5+0.5=0.9.
投影方向 θ0°30°45°90°135°180°
投影方差 u⊤Cu2.54.23214.52.50.52.5

投影方差 u⊤Cu=acos2⁡θ+2bcos⁡θsin⁡θ+dsin2⁡θ,在 θ=45° 取最大值 λ1=4.5(正是 PC1),在 θ=135° 取最小值 λ2=0.5(正是 PC2);任意 θ 的投影方差都介于这两者之间。

退化情况

当 λ1=λ2(例如 4 个点落在 (±1,0),(0,±1),协方差为 0.5I)时,任意方向都是主成分,方向不唯一,动画会标记「退化」。此时 PCA 无法给出唯一主轴,应回到业务含义选择坐标方向。

口径说明:演示与 Python 算例用协方差分母 n(教学口径);上文公式的 n−1 是无偏估计,两者只差一个常数因子,不改变主成分方向与 retention,仅整体缩放特征值。scikit-learn 的 explained_variance_ 用 n−1 口径,其值等于此处 λ⋅n/(n−1)。

双语言实验 ​

四个观测的两列指标均为无单位评分,取 (−3,−1),(−1,−2),(1,0),(3,3)。两列均值都是零。横轴方差由 (−3)2+(−1)2+12+32 除以 4 得到 5,纵轴方差为 3.5,交叉项同样为 3.5。给定方向的单位向量 v,点在该方向上的坐标是 Xv,其方差为 v⊤Σv。在 ∥v∥=1 下用拉格朗日乘子求极值,得到 Σv=λv。最大特征值对应投影方差最大的方向。点的重构是把标量坐标放回方向 v 上,剩余误差沿另一个正交方向。

Python 使用 NumPy、Matplotlib、scikit-learn,下载后运行 python mmf_pca.py。使用 MATLAB 时把文件存到当前文件夹,在命令行输入 mmf_pca。MATLAB 基础版的 eig 与 svd 足够计算,选读 pca 接口需要 Statistics and Machine Learning Toolbox。 Python 同时跑协方差特征分解和 sklearn PCA,MATLAB 用基础 SVD 核对特征分解。两份实现约定首坐标为正。比较了投影方向、方差保留比例和每点二维平方重构误差。

对三行二维观测列中心化后做样本协方差特征分解。两方向的方差分别是 5 与 0。比较方向时用绝对值消除特征向量的符号差。

最简版依赖 Python:NumPy。MATLAB:基础功能,无需额外工具箱。

在源码所在目录运行 python mmf_min_pca.py

py
import json
import numpy as np

# 行是样本,列是两个同量纲的特征。先从每列减均值。
x = np.array([[1., 2.], [2., 4.], [3., 6.]])
centered = x - x.mean(axis=0)
covariance = centered.T @ centered / (len(x) - 1)

# 对称特征分解给出彼此正交的方向。特征值是沿各方向的样本方差。
values, vectors = np.linalg.eigh(covariance)
principal = vectors[:, -1]
projected = centered @ principal
assert np.allclose(values, [0, 5])
assert np.isclose(projected.var(ddof=1), values[-1])
result = {"variances": values[::-1].tolist(), "direction_abs": np.abs(principal).tolist()}
print("LAB_RESULT " + json.dumps(result, ensure_ascii=False))
下载当前源码

下载 Python 源码 · 下载 MATLAB 源码

对照时注意 np.linalg.eigh 默认升序,MATLAB eig 用 max 显式选最大值。库里采用 n−1 作协方差分母时,特征值整体放大 n/(n−1),比值和方向保持一致。图里的短线是点到重构位置的残差。若两列量纲不同,先比较协方差 PCA 和标准化 PCA,写清哪一种空间里的方差是分析目标。

练习与解析

使 v 的两个坐标都换符号。投影坐标也换符号,重构 (Xv)v⊤ 保持不变。若第一、第二特征值接近,数据微扰可能使单个方向转动,此时比较由主成分张成的子空间更稳妥。

关联文章 ​

MathModel FAQ · 数学建模知识库