最后更新: 2026-01-19 09:01 查看: 181 次反馈能力测评会员8.2元/月赞助

矩阵的奇异值SVD分解

## 矩阵的奇异值SVD分解
矩阵的奇异值分解号称数值计算领域的＂瑞士军刀＂，用途非常广泛。奇异值分解的相关概念可以看作是**特征值相关概念在一般矩阵上的推广**，其计算方法也可由算矩阵特征值的方法导出。本节将介绍有关的重要概念和定理，并简略介绍计算奇异值分解的算法。

> 奇异值分解和特征值分解的区别：特征值分解只能应用于$n \times n$的方阵, 而奇异值分解可以用于$m \times n$的矩阵

##基本概念与奇异值分解定理
**定义**：矩阵 $\boldsymbol{A}=\left(a_{k j}\right)$ ，若非负实数 $\sigma$ 和相应的一对非零向量 $\boldsymbol{u}  , \boldsymbol{v} $满足

$$
\left\{\begin{array}{l}
\boldsymbol{A} v=\sigma u \\
\boldsymbol{A}^{\mathrm{T}} u=\sigma v
\end{array} \right. ...(1)
$$

则称 $\sigma$ 为 $\boldsymbol{A}$ 的奇异值（singular value），向量 $\boldsymbol{u}$ 和 $\boldsymbol{v}$ 分别为矩阵 $\boldsymbol{A}$ 对应于 $\sigma$ 的**左奇异向量** （left singular vector）和**右奇异向量**（right singular vector）。

对这个定义说明两点。

**①** 公式（1）的第二个方程左右两边取转置就可以得到 $\boldsymbol{u}^{\mathrm{T}} \boldsymbol{A}=\sigma \boldsymbol{v}^{\mathrm{T}}$ ，其中行向量 $\boldsymbol{u}^{\mathrm{T}}$ 乘在矩阵 $\boldsymbol{A}$ 的左边。这也是我们称 $\boldsymbol{u}$ 为左奇异向量的原因。
（2）将任意一对左／右奇异向量乘以一个相同的数，式（1）仍然成立。因此，一个奇异值对应的左／右奇异向量有无穷多对，与特征向量的情形类似，它们各自形成线性子空间。一般地，我们总是考虑（ 2 —范数）单位长度的奇异向量，即 $\|u\|=\|v\|=1$ 。

## 奇异值分解定理
下面的奇异值分解定理告诉我们，任意实矩阵 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 都有 $\min \{m, n\}$ 个奇异值及其对应的左／右奇异向量对，且这些左奇异向量相互正交，右奇异向量也相互正交。

**定理 奇异值分解** ：任意矩阵 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 一定可以分解为

$$
\boldsymbol{A}=\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{\mathrm{T}}
$$

其中 $\boldsymbol{U} \in \mathbb{R}^{m \times m}, \boldsymbol{V} \in \mathbb{R}^{n \times n}$ 都是正交矩阵， $\boldsymbol{\Sigma} \in \mathbb{R}^{m \times n}$ 为对角矩阵，其对角元 $\sigma_k \geqslant 0, k=1,2, \cdots$ ， $\min \{m, n\}$ ，且按递减顺序排列。

【证明】不失一般性，只需要对 $m \geqslant n$ 的情况进行证明。考虑矩阵 $\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}$ ，它是一个 $n$ 阶实对称矩阵，由特征值分解：

$$
\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}=\boldsymbol{V} \boldsymbol{\Lambda} \boldsymbol{V}^{\mathrm{T}},
$$

其中，$V \in \mathbb{R}^{n \times n}$ 为正交矩阵，因为 $\mathbf{A}^{\mathrm{T}} \boldsymbol{A}$ 也是对称半正定的，对角矩阵 $\mathbf{\Lambda}$ 的对角元均非负。显然，可以调整矩阵 $\boldsymbol{V}$ 各列的顺序，使得 $\boldsymbol{\Lambda}$ 的对角元按数值递减的顺序排列，不妨设前 $r$ 个对角元大于 0 ，而其他为 0 。下面分两种情况讨论。

（1）$r=n$ ，即 $\mathbf{\Lambda}$ 为非奇异对角矩阵。
设 $\boldsymbol{\Lambda}=\boldsymbol{\Sigma}_r^2$ ，其中 $\boldsymbol{\Sigma}_r$ 为 $r \times r$ 对角矩阵，且其对角元为 $\sigma_1 \geqslant \sigma_2 \geqslant \cdots \geqslant \sigma_r>0$ ，则

$$
\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}=\boldsymbol{V} \boldsymbol{\Sigma}_r \boldsymbol{\Sigma}_r \boldsymbol{V}^{\mathrm{T}} \Rightarrow \boldsymbol{\Sigma}_r^{-1} \boldsymbol{V}^{\mathrm{T}} \boldsymbol{A}^{\mathrm{T}} \boldsymbol{A} \boldsymbol{V} \boldsymbol{\Sigma}_r^{-1}=\boldsymbol{I}
$$

设 $m \times n$ 矩阵

$$
\boldsymbol{U}_1=\boldsymbol{A} \boldsymbol{V} \boldsymbol{\Sigma}_r^{-1}, ...(5.23)
$$

则 $\boldsymbol{U}_1^{\mathrm{T}} \boldsymbol{U}_1=\boldsymbol{I}$ ，这表明 $\boldsymbol{U}_1$ 各列的 2 －范数为 1 且相互正交（即为列正交矩阵，orthonormal matrix）。那么，根据 $\boldsymbol{U}_1$ 各列可以再扩充出 $m-n$ 个单位正交向量，得到 $m$ 阶正交矩阵 $\boldsymbol{U}=$ ［ $\begin{array}{ll}\boldsymbol{U}_1 & \boldsymbol{U}_2\end{array}$ ］。构造 $m \times n$ 矩阵 $\boldsymbol{\Sigma}=\left[\begin{array}{c}\boldsymbol{\Sigma}_r \\ \boldsymbol{O}\end{array}\right]$ ，利用式（5．23）可推出：

$$
\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{\mathrm{T}}=\boldsymbol{U}_1 \boldsymbol{\Sigma}_r \boldsymbol{V}^{\mathrm{T}}=\boldsymbol{A} 。
$$

（2）$r<n$ ，即 $\mathbf{\Lambda}$ 为奇异对角矩阵。
设 $\boldsymbol{\Lambda}=\left[\begin{array}{ll}\boldsymbol{\Sigma}_r^2 & \\ & \boldsymbol{o}\end{array}\right]$ ，其中 $\boldsymbol{\Sigma}_r$ 为 $r \times r$ 对角矩阵，且其对角元为 $\sigma_1 \geqslant \sigma_2 \geqslant \cdots \geqslant \sigma_r>0$ 。设矩阵 $\boldsymbol{V}$ 的前 $r$ 列组成矩阵 $\boldsymbol{V}_1$ ，其他列组成矩阵 $\boldsymbol{V}_2$ ，则

$$
\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}=\left[\begin{array}{ll}
\boldsymbol{V}_1 & \boldsymbol{V}_2
\end{array}\right]\left[\begin{array}{ll}
\boldsymbol{\Sigma}_r^2 & \\
& \boldsymbol{O}
\end{array}\right]\left[\begin{array}{l}
\boldsymbol{V}_1^{\mathrm{T}} \\
\boldsymbol{V}_2^{\mathrm{T}}
\end{array}\right] \Righta

免费注册查看余下70%

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

高等数学测评 函数与极限一元函数微分学一元函数积分学微分方程空间向量与代数多元微分学多元积分学无穷级数

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

线性代数测评 行列式矩阵向量空间

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

概率统计测评 事件与概率一维随机变量与事件多维随机变量与事件随机变量的数字特征大数定律与中心极限定理统计量与抽样分布参数估计假设检验

上一篇：矩阵的特征值分解PAP★★★★★

下一篇：奇异值分解（SVD)介绍和可视化理解

本文对您是否有用？有用 (1) 无用 (0)