Skip to content

矩阵与特征值:数据压缩与稳定性 ​

一分钟理解 ​

一张电子表格就是矩阵的雏形:行是样本、列是变量。但矩阵在数学里更重要的身份是线性变换——把一批数(输入向量)按固定规则「旋转 + 拉伸」成另一批数(输出向量)。

比喻:把矩阵 A 想成一台「挤压机」。输入一个向量 x,机器输出 y=Ax。大多数向量经过机器后,方向会偏、长度会变。但总有几个特殊方向,机器只拉伸不转向——沿这些方向的向量满足 Av=λv,被拉长(或缩短)为原来的 λ 倍。这些 v 叫特征向量,拉伸倍数 λ 叫特征值。

特征值为什么重要?因为它一次说清两件大事:一是哪个方向承载了主要信息(特征值大的方向「拉伸」得多,正是 PCA 降维要找的主方向);二是系统是收敛还是发散(特征值的绝对值决定线性迭代 xn+1=Axn 是衰减、不变还是爆炸)。

这个工具在建模里干什么 ​

  • 线性方程组:约束与平衡关系常写成 Ax=b,求解就是矩阵运算。线性规划入门
  • 降维(PCA):协方差矩阵的特征值与特征向量给出「数据变化最大的方向」,用于压缩特征、画低维图。主成分分析(PCA)
  • 稳定性分析:差分或微分系统的演化矩阵特征值决定轨迹是否稳定,是动力学建模的核心判断。微分方程与动力学建模
  • 最小二乘:正规方程 X⊤Xβ=X⊤y 本质是解一个线性方程组,矩阵是否可逆(是否病态)决定解是否稳定。线性回归、多项式回归与岭回归

一句话:矩阵把「一组数同时变」这件事变得可计算,特征值则揭示这个变换的「骨架方向」和「稳定与否」。

核心概念 ​

符号定义 ​

符号含义
Am×n 矩阵,m 行 n 列
x输入列向量(长度 n)
y=Ax输出列向量(长度 m)
A−1逆矩阵,满足 AA−1=A−1A=I
detA行列式,判断可逆性的标量
λ特征值(可为实数或复数)
v特征向量(非零)
I单位矩阵,主对角线为 1、其余为 0

关键公式 ​

矩阵乘向量:yi=∑jAijxj,即输出的第 i 个分量是「第 i 行与 x 的逐项乘积之和」。量纲上,Aij 的量纲是 [yi]/[xj],这样乘积求和后量纲一致。

线性方程组与逆矩阵:

Ax=b⟺x=A−1b(当 detA≠0).

detA≠0 等价于「A 的列向量线性无关」,此时方程有唯一解;detA=0 时矩阵不可逆,方程要么无解要么有无穷多解。

特征方程:

Av=λv⟺det(A−λI)=0.

解出 λ 后,代回求非零 v。对实对称矩阵(如协方差矩阵),特征值全为实数,且不同特征值的特征向量互相正交——这正是 PCA 能拿到「互不相关的正交主方向」的原因。

手算小例子 ​

例子一:求特征值。 取 A=(2112)。

det(A−λI)=det(2−λ112−λ)=(2−λ)2−1=λ2−4λ+3=0.

解得 λ1=1,λ2=3。

  • 对 λ2=3:解 (A−3I)v=(−111−1)v=0,得 v2=(1,1)。
  • 对 λ1=1:解 (A−I)v=(1111)v=0,得 v1=(1,−1)。

核对 Av2=(2112)(11)=(33)=3v2,正确。两个特征向量正交(1⋅1+1⋅(−1)=0),符合实对称矩阵的性质。

例子二:解线性方程组。 解 (2112)(xy)=(54),即 2x+y=5, x+2y=4。由第一式 y=5−2x,代入第二式 x+10−4x=4,得 −3x=−6,x=2,回代 y=1。核对:2⋅2+1=5、2+2⋅1=4,正确。这里 detA=3≠0,解唯一。

例子三:稳定性。 对角阵 (0.5000.9) 的特征值就是 0.5 和 0.9,二者绝对值都小于 1,因此迭代 xn+1=Axn 会让向量各分量以 0.5 与 0.9 的倍数逐次缩小,最终趋于零向量——系统是稳定的。

可以用两条恒等式快速核对特征值算得对不对:特征值之和等于矩阵的迹(主对角线之和),特征值之积等于行列式。对例子一的 A,迹为 2+2=4,λ1+λ2=1+3=4;行列式为 3,λ1λ2=3,全部吻合。

病态矩阵与数值稳定性 ​

「可逆」只保证解唯一存在,不保证数值上算得稳。看方程组

(1111.0001)(xy)=(22.0001),

它的解是 x=1,y=1;但把右边第二项从 2.0001 改成 2,方程就变成 (1111.0001)x=(22),解跳成 x=2,y=0。右边只差 0.0001,解却差了一整个单位——这是病态矩阵的典型症状:两行几乎平行,方程在「几乎奇异」的边缘。

量化的指标是条件数 κ(A)=∥A∥∥A−1∥,它至少为 1,越大越病态。在建模里,病态常来自特征之间高度相关(多重共线性),对应最小二乘里的矩阵 X⊤X 接近奇异,系数估计极不稳定。诊断信号是「输入微调一下,结果大幅摆动」,应对手段包括变量缩放、正则化(岭回归)或换更稳的求解器。主成分分析(PCA)、特征高度相关怎么办?

常见误解与成立条件 ​

  • 「矩阵都能求逆」不对。 detA=0 时不可逆。例如 (1224),第二行是第一行的 2 倍,det=4−4=0。对应方程组 x+2y=a, 2x+4y=b 只有在 b=2a 时才有解。诊断信号是「方程数看似够却解不出唯一解」。求解结果为不可行怎么办?
  • 「特征值只有方阵才有」成立,但「特征值一定是实数」不成立。 旋转矩阵 (0−110) 的特征值为 ±i(纯虚数)。只有实对称矩阵才能保证特征值全实。
  • 「特征值大就重要」要分语境。 PCA 里特征值对应「该方向解释的方差」,确实越大越重要;但在稳定性分析里,起决定作用的是绝对值最大的特征值(谱半径),且可正可负可复数。别把两个语境混为一谈。
  • 「矩阵乘法可交换」不成立。 一般 AB≠BA。例如 A=(0100),B=(0010),AB=(1000) 而 BA=(0001)。乘的顺序不能随意调换。
  • 「可逆」不等于「好解」。 接近奇异(条件数很大)的矩阵,数值解对输入误差极敏感。诊断信号是「解在微小扰动下剧烈变化」,此时需要缩放、正则化或更稳的算法。岭回归为什么需要正则化?

与具体模型连接 ​

关联文章 ​

参考资料 ​

MathModel FAQ · 数学建模知识库