最后更新: 2026-05-24 07:01 查看: 220 次纠错评论(0) 课件开VIP

矩阵的奇异值SVD分解

## 为什么要进行奇异值分解

线性代数里的矩阵，很早就被物理学家和工程师拿去解方程组了，这不算冷门。但矩阵分解，尤其是奇异值分解（SVD），在很长一段时间里，它就是线性代数课程里一个让人头疼的理论章节，除了考试要考，谁也不知道这玩意儿分解来分解去有啥用。把一个矩阵拆成三个矩阵的乘积，为什么?
 考虑下面一个场景：期我们做电商推荐，最头疼的问题就是怎么给用户推荐他可能喜欢但从没见过的东西。我们手里有一张巨大的用户-商品评分表，一个几百万行（用户）、几十万列（商品）的巨大矩阵，里面填满了用户对商品的评分，但绝大部分是空的，因为一个用户不可能对所有商品都评分。
这个矩阵又大又稀疏，怎么玩？这时候，SVD就登场了。我们发现，通过SVD可以把这个大矩阵分解成三个小一点的矩阵。这个过程，直观地理解，就像是把用户和商品都“投影”到一个共同的、更低维度的“潜在语义空间”里。

比如，SVD可能能自动挖出一些“隐藏特征”，像“文艺青年喜欢的”、“数码发烧友关注的”、“性价比党最爱”等等。每个用户和每个商品，都可以用这些隐藏特征来表示。一个用户可能是80%的“文艺青年”+20%的“数码发烧友”，一本书可能是90%的“文艺青年”+10%的“性价比党”。这样一来，我们就可以通过计算用户和商品在这些隐藏特征上的匹配度，来预测用户可能对一个他没见过的商品打多少分，推荐问题就解决了

当年Netflix搞的那个百万美元算法大赛，最后胜出的团队用的核心技术之一就是矩阵分解。从那以后，SVD和它的各种变体，就成了推荐、计算广告、甚至自然语言处理（LSA模型）领域的基石技术之一。一个纯粹的数学工具，就这么成了千亿级互联网产业的发动机

## 矩阵的奇异值SVD分解
矩阵的奇异值分解号称数值计算领域的＂瑞士军刀＂，用途非常广泛。奇异值分解的相关概念可以看作是**特征值相关概念在一般矩阵上的推广**，其计算方法也可由算矩阵特征值的方法导出。本节将介绍有关的重要概念和定理，并简略介绍计算奇异值分解的算法。

> 奇异值分解和特征值分解的区别：特征值分解只能应用于$n \times n$的方阵, 而奇异值分解可以用于$m \times n$的矩阵

##基本概念与奇异值分解定理
**定义**：矩阵 $\boldsymbol{A}=\left(a_{k j}\right)$ ，若非负实数 $\sigma$ 和相应的一对非零向量 $\boldsymbol{u}  , \boldsymbol{v} $满足

$$
\left\{\begin{array}{l}
\boldsymbol{A} v=\sigma u \\
\boldsymbol{A}^{\mathrm{T}} u=\sigma v
\end{array} \right. ...(1)
$$

则称 $\sigma$ 为 $\boldsymbol{A}$ 的奇异值（singular value），向量 $\boldsymbol{u}$ 和 $\boldsymbol{v}$ 分别为矩阵 $\boldsymbol{A}$ 对应于 $\sigma$ 的**左奇异向量** （left singular vector）和**右奇异向量**（right singular vector）。

对这个定义说明两点。

**①** 公式（1）的第二个方程左右两边取转置就可以得到 $\boldsymbol{u}^{\mathrm{T}} \boldsymbol{A}=\sigma \boldsymbol{v}^{\mathrm{T}}$ ，其中行向量 $\boldsymbol{u}^{\mathrm{T}}$ 乘在矩阵 $\boldsymbol{A}$ 的左边。这也是我们称 $\boldsymbol{u}$ 为左奇异向量的原因。
（2）将任意一对左／右奇异向量乘以一个相同的数，式（1）仍然成立。因此，一个奇异值对应的左／右奇异向量有无穷多对，与特征向量的情形类似，它们各自形成线性子空间。一般地，我们总是考虑（ 2 —范数）单位长度的奇异向量，即 $\|u\|=\|v\|=1$ 。

## 奇异值分解定理
下面的奇异值分解定理告诉我们，任意实矩阵 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 都有 $\min \{m, n\}$ 个奇异值及其对应的左／右奇异向量对，且这些左奇异向量相互正交，右奇异向量也相互正交。

**定理 奇异值分解** ：任意矩阵 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 一定可以分解为

$$
\boldsymbol{A}=\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{\mathrm{T}}
$$

其中 $\boldsymbol{U} \in \mathbb{R}^{m \times m}, \boldsymbol{V} \in \mathbb{R}^{n \times n}$ 都是正交矩阵， $\boldsymbol{\Sigma} \in \mathbb{R}^{m \times n}$ 为对角矩阵，其对角元 $\sigma_k \geqslant 0, k=1,2, \cdots$ ， $\min \{m, n\}$ ，且按递减顺序排列。

【证明】不失一般性，只需要对 $m \geqslant n$ 的情况进行证明。考虑矩阵 $\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}$ ，它是一个 $n$ 阶实对称矩阵，由特征值分解：

$$
\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}=\boldsymbol{V} \boldsymbol{\Lambda} \boldsymbol{V}^{\mathrm{T}},
$$

其中，$V \in \mathbb{R}^{n \times n}$ 为正交矩阵，因为 $\mathbf{A}^{\mathrm{T}} \boldsymbol{A}$ 也是对称半正定的，对角矩阵 $\mathbf{\Lambda}$ 的对角元均非负。显然，可以调整矩阵 $\boldsymbol{V}$ 各列的顺序，使得 $\boldsymbol{\Lambda}$ 的对角元按数值递减的顺序排列，不妨设前 $r$ 个对角元大于 0 ，而其他为 0 。下面分两种情况讨论。

（1）$r=n$ ，即 $\mathbf{\Lambda}$ 为非奇异对角矩阵。
设 $\boldsymbol{\Lambda}=\boldsymbol{\Sigma}_r^2$ ，其中 $\boldsymbol{\Sigma}_r$ 为 $r \times r$ 对角矩阵，且其对角元为 $\sigma_1 \geqslant \sigma_2 \geqslant \cdots \geqslant \sigma_r>0$ ，则

$$
\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}=\boldsymbol{V} \boldsymbol{\Sigma}_r \boldsymbol{\Sigma}_r \boldsymbol{V}^{\mathrm{T}} \Rightarrow \boldsymbol{\Sigma}_r^{-1} \boldsymbol{V}^{\mathrm{T}} \boldsymbol{A}^{\mathrm{T}} \boldsymbol{A} \boldsymbol{V} \boldsymbol{\Sigma}_r^{-1}=\boldsymbol{I}
$$

设 $m \times n$ 矩阵

$$
\boldsymbol{U}_1=\boldsymbol{A} \boldsymbol{V} \boldsymbol{\Sigma}_r^{-1}, ...(5.23)
$$

则 $\boldsymbol{U}_1^{\mathrm{T}} \boldsymbol{U}_1=\boldsymbol{I}$ ，这表明 $\boldsymbol{U}_1$ 各列的 2 －范数为 1 且相互正交（即为列正交矩阵，orthonormal matrix）。那么，根据 $\boldsymbol{U}_1$ 各列可以再扩充出 $m-n$ 个单位正交向量，得到 $m$ 阶正交矩阵 $\boldsymbol{U}=$ ［ $\begin{array}{ll}\boldsymbol{U}_1 & \boldsymbol{U}_2\end{array}$ ］。构造 $m \times n$ 矩阵 $\boldsymbol{\Sigma}=\left[\begin{array}{c}\boldsymbol{\Sigma}_r \\ \boldsymbol{O}\end{array}\right]$ ，利用式（5．23）可推出：

$$
\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{\mathrm{T}}=\boldsymbol{U}_1 \boldsymbol{\Sigma}_r \boldsymbol{V}^{\mathrm{T}}=\boldsymbol{A} 。
$$

（2）$r<n$ ，即 $\mathbf{\Lambda}$ 为奇异对角矩阵。
设 $\boldsymbol{\Lambda}=\left[\begin{array}{ll}\boldsymbol{\Sigma}_r^2 & \\ & \boldsymbol{o}\end{array}\right]$ ，其中 $\boldsymbol{\Sigma}_r$ 为 $r \times r$ 对角矩阵，且其对角元为 $\sigma_1 \geqslant \sigma_2 \geqslant \cdots \geqslant \sigma_r>0$ 。设矩阵 $\boldsymbol{V}$ 的前 $r$ 列组成矩阵 $\boldsymbol{V}_1$ ，其他列组成矩阵 $\boldsymbol{V}_2$ ，则

$$
\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}=\left[\begin{array}{ll}
\boldsymbol{V}_1 & \boldsymbol{V}_2
\end{array}\right]\left[\begin{array}{ll}
\boldsymbol{\Sigma}_r^2 & \\
& \boldsymbol{O}
\end{array}\right]\left[\begin{array}{l}
\boldsymbol{V}_1^{\mathrm{T}} \\
\boldsymbol{V}_2^{\mathrm{T}}
\end{array}\right] \Rightarrow\left[\begin{array}{l}
\boldsymbol{V}_1^{\mathrm{T}} \\
\boldsymbol{V}_2^{\mathrm{T}}
\end{array}\right] \boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}\left[\begin{array}{ll}
\boldsymbol{V}_1 & \boldsymbol{V}_2
\end{array}\right]=\left[\begin{array}{ll}
\boldsymbol{\Sigma}_r^2 & \\
& \boldsymbol{O}
\end{array}\right],
$$

因此，

$$
\left\{\begin{array}{c}
\boldsymbol{\Sigma}_r^{-1} \boldsymbol{V}_1^{\mathrm{T}} \boldsymbol{A}^{\mathrm{T}} \boldsymbol{A} \boldsymbol{V}_1 \boldsymbol{\Sigma}_r^{-1}=\boldsymbol{I} \\
\boldsymbol{V}_2^{\mathrm{T}} \boldsymbol{A}^{\mathrm{T}} \boldsymbol{A} \boldsymbol{V}_2=\boldsymbol{O}
\end{array}\right.
$$

设 $m \times r$ 矩阵 $U_1=A V_1 \Sigma_r^{-1}$ ，则 $U_1^{\mathrm{T}} U_1=I$ ，这表明 $U_1$ 各列 2－范数为 1 且相互正交，可以再扩充 $m-r$ 个单位正交向量，得到 $m$ 阶正交矩阵 $\boldsymbol{U}=\left[\begin{array}{ll}\boldsymbol{U}_1 & \boldsymbol{U}_2\end{array}\right]$ 。从上式还可以看出， $\boldsymbol{A} \boldsymbol{V}_2$ 的

各列的2－范数都等于 0 ，因此 $\boldsymbol{A} \boldsymbol{V}_2$ 为零矩阵。计算 $\boldsymbol{U}^{\mathrm{T}} \boldsymbol{A} \boldsymbol{V}$ ，得

$$
\boldsymbol{U}^{\mathrm{T}} \boldsymbol{A} \boldsymbol{V}=\left[\begin{array}{l}
\boldsymbol{U}_1^{\mathrm{T}} \\
\boldsymbol{U}_2^{\mathrm{T}}
\end{array}\right] \boldsymbol{A}\left[\begin{array}{ll}
\boldsymbol{V}_1 & \boldsymbol{V}_2
\end{array}\right]=\left[\begin{array}{ll}
\boldsymbol{U}_1^{\mathrm{T}} \boldsymbol{A} \boldsymbol{V}_1 & \boldsymbol{U}_1^{\mathrm{T}} \boldsymbol{A} \boldsymbol{V}_2 \\
\boldsymbol{U}_2^{\mathrm{T}} \boldsymbol{A} \boldsymbol{V}_1 & \boldsymbol{U}_2^{\mathrm{T}} \boldsymbol{A} \boldsymbol{V}_2
\end{array}\right]=\left[\begin{array}{lll}
\boldsymbol{U}_1^{\mathrm{T}} \boldsymbol{U}_1 & \boldsymbol{\Sigma}_r & \boldsymbol{O} \\
\boldsymbol{U}_2^{\mathrm{T}} \boldsymbol{U}_1 & \boldsymbol{\Sigma}_r & \boldsymbol{O}
\end{array}\right]=\left[\begin{array}{cc}
\boldsymbol{\Sigma}_r & \boldsymbol{O} \\
\boldsymbol{O} & \boldsymbol{O}
\end{array}\right] .
$$

令 $m \times n$ 对角矩阵 $\boldsymbol{\Sigma}=\left[\begin{array}{cc}\boldsymbol{\Sigma} & \boldsymbol{O} \\ \boldsymbol{O} & \boldsymbol{O}\end{array}\right]$ ，则有 $\boldsymbol{A}=\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{\mathrm{T}}$ ，定理得证。

### 对这个定理说明几点

（1）如果有了矩阵 $\boldsymbol{A}$ 的奇异值分解 $\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{\mathrm{T}}$ ，则 $\boldsymbol{A}^{\mathrm{T}}=\boldsymbol{V} \boldsymbol{\Sigma}^{\mathrm{T}} \boldsymbol{U}^{\mathrm{T}}$ ，也就得到了 $\boldsymbol{A}^{\mathrm{T}}$ 的奇异值分解，只不过矩阵 $U 、 V$ 的位置对调了。这也就是为什么我们在证明时可以仅考虑 $A$ 的行数不少于列数的情况。
（2）根据奇异值分解，有

$$
\boldsymbol{A} \boldsymbol{V}=\boldsymbol{U} \boldsymbol{\Sigma}, \quad \text { 即 } \quad \boldsymbol{A} \boldsymbol{v}_k=\sigma_k \boldsymbol{u}_k, \quad k=1,2, \cdots, n
$$

同时，

$$
\boldsymbol{A}^{\mathrm{T}} \boldsymbol{U}=\boldsymbol{V} \boldsymbol{\Sigma}^{\mathrm{T}} \text {, 即 } \quad \boldsymbol{A}^{\mathrm{T}} \boldsymbol{u}_k=\sigma_k \boldsymbol{v}_k, \quad k=1,2, \cdots, n
$$

这表明由奇异值分解中的对角元 $\sigma_k$ 为 $\boldsymbol{A}$ 的奇异值，它们一共有 $\min \{m, n\}$ 个，而矩阵 $\boldsymbol{U}$ 、 $\boldsymbol{V}$ 的列向量则为相应的左奇异向量、右奇异向量。

（3）由奇异值分解定理的证明过程知，奇异值分解中的对称矩阵 $\boldsymbol{\Sigma}$ 是唯一确定的。
（4）对于实对称矩阵，比较其特征值分解和奇异值分解，可以发现两者形式非常相像。特别地，若 $\boldsymbol{A}$ 是实对称半正定矩阵，其特征值分解就是奇异值分解。
（5）从上述证明可以看出，非零奇异值的数目 $r$ 就是矩阵 $\boldsymbol{A}$ 的秩。根据式（5．24）和式 （5．25）以及 $\sigma_k=0,(k=r+1, r+2, \cdots, n)$ ，还可以看出矩阵 $\boldsymbol{U} 、 \boldsymbol{V}$ 的列向量实际上是 4 个重要的线性子空间的单位正交基，如图 5－11 所示

![图片](/uploads/2026-01/46709a.jpg)
 
 如果矩阵 $\boldsymbol{A}$ 的行数和列数不相等，则它还有＂精简＂的奇异值分解形式。以行数 $\boldsymbol{m}$ 大于列数 $n$ 的情况为例，

$$
\boldsymbol{A}=\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{\mathrm{T}}=[\boldsymbol{U}(:, 1: n) \quad \boldsymbol{U}(:, n+1: m)]\left[\begin{array}{c}
\boldsymbol{\Sigma}(1: n,:) \\
\boldsymbol{O}
\end{array}\right] \mathbf{V}^{\mathrm{T}}=\boldsymbol{U}(:, 1: n) \boldsymbol{\Sigma}(1: n,:) \boldsymbol{V}^{\mathrm{T}}
$$

其中采用 MATLAB 软件中的写法表示矩阵的部分行或列。在结果中， $\boldsymbol{U}(:, 1: n)$ 为矩阵 $\boldsymbol{U}$ 的前 $n$ 列， $\boldsymbol{\Sigma}(1: n,:)$ 为矩阵 $\boldsymbol{\Sigma}$ 的前 $n$ 行，这样就得到了 $\boldsymbol{A}$ 的精简奇异值分解（economy－ size SVD）。

## 有关性质与计算方法
矩阵的奇异值分解与特征值分解不同，它相当于使用两组单位正交基实现了矩阵 $\boldsymbol{A}$ 的对角化，而且这种分解是一定存在的。同时，两者也有一定的联系，如奇异值就是矩阵 $\boldsymbol{A} \boldsymbol{A}^{\mathrm{T}}$ （当 $m \leqslant n$ 时）或 $\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}$（当 $m>n$ 时）的特征值的算术平方根。由于奇异值分解普遍存在，它有很重要的理论意义和实用价值。

基于奇异值分解，可以很容易推导出矩阵2－范数的计算公式。假设 $\boldsymbol{A}=\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{\mathrm{T}}$ ，则

$$
\|\boldsymbol{A}\|_2=\max _{\boldsymbol{x} \neq \mathbf{0}} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_2}{\|\boldsymbol{x}\|_2}=\max _{\boldsymbol{x} \neq \mathbf{0}} \frac{\left\|\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{\mathrm{T}} \boldsymbol{x}\right\|_2}{\|\boldsymbol{x}\|_2}=\max _{\boldsymbol{x} \neq \mathbf{0}} \frac{\left\|\boldsymbol{\Sigma} \boldsymbol{V}^{\mathrm{T}} \boldsymbol{x}\right\|_2}{\left\|\boldsymbol{V}^{\mathrm{T}} \boldsymbol{x}\right\|_2}=\max _{\boldsymbol{y} \neq \mathbf{0}} \frac{\|\boldsymbol{\Sigma} \boldsymbol{y}\|_2}{\|\boldsymbol{y}\|_2}=\sigma_1, ...(5.26)
$$

推导中使用了正交矩阵的性质，最后一个等号可在 $\boldsymbol{y}=\left[\begin{array}{llll}y_1 & 0 & \cdots & 0\end{array}\right]^{\mathrm{T}}$ 时取得。这个结论与特征值的结论一致，但适合于更一般的矩阵。

## 奇异值计算举例

最经典和易于理解的计算方法。其核心是利用矩阵 $A^TA$ 和 $AA^T$ 的特征值和特征向量。

**给定矩阵**：
$$
A = \begin{bmatrix}
3 & 1 \\
1 & 3 \\
0 & 0
\end{bmatrix}
\quad (m=3, n=2)
$$

#### **步骤 1：计算 $A^TA$ 和 $AA^T$**

首先计算 $A^TA$（一个 $n \times n$ 矩阵）：
$$
A^TA = \begin{bmatrix}
3 & 1 & 0 \\
1 & 3 & 0
\end{bmatrix}
\begin{bmatrix}
3 & 1 \\
1 & 3 \\
0 & 0
\end{bmatrix}
= \begin{bmatrix}
10 & 6 \\
6 & 10
\end{bmatrix}
$$

然后计算 $AA^T$（一个 $m \times m$ 矩阵）：
$$
AA^T = \begin{bmatrix}
3 & 1 \\
1 & 3 \\
0 & 0
\end{bmatrix}
\begin{bmatrix}
3 & 1 & 0 \\
1 & 3 & 0
\end{bmatrix}
= \begin{bmatrix}
10 & 6 & 0 \\
6 & 10 & 0 \\
0 & 0 & 0
\end{bmatrix}
$$

> **为什么这么做？**
> - $A^TA$ 和 $AA^T$ 都是对称半正定矩阵。
> - 它们共享相同的非零特征值。
> - $A$ 的奇异值是 $A^TA$ 的特征值的平方根。

#### **步骤 2：计算 $A^TA$ 的特征值和特征向量**

求 $A^TA$ 的特征值：
解特征方程 $\det(A^TA - \lambda I) = 0$
$$
\det\left( \begin{bmatrix}
10-\lambda & 6 \\
6 & 10-\lambda
\end{bmatrix} \right) = (10-\lambda)^2 - 36 = 0
$$
$$
\lambda^2 - 20\lambda + 64 = 0
$$
$$
(\lambda - 16)(\lambda - 4) = 0
$$
所以特征值 $\lambda_1 = 16$，$\lambda_2 = 4$。

**奇异值** $\sigma_i = \sqrt{\lambda_i}$：
$$
\sigma_1 = \sqrt{16} = 4, \quad \sigma_2 = \sqrt{4} = 2
$$

现在求对应的特征向量并正交化、单位化：

- 对于 $\lambda_1 = 16$：

$$
  (A^TA - 16I)\mathbf{v}_1 = 0 \implies \begin{bmatrix}
  -6 & 6 \\
  6 & -6
  \end{bmatrix} \mathbf{v}_1 = 0
$$
  解得 $\mathbf{v}_1 = k \begin{bmatrix} 1 \\ 1 \end{bmatrix}$，取 $k=\frac{1}{\sqrt{2}}$ 单位化：
$$
  \mathbf{v}_1 = \begin{bmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{bmatrix}
$$

- 对于 $\lambda_2 = 4$：

$$
  (A^TA - 4I)\mathbf{v}_2 = 0 \implies \begin{bmatrix}
  6 & 6 \\
  6 & 6
  \end{bmatrix} \mathbf{v}_2 = 0
$$
  解得 $\mathbf{v}_2 = k \begin{bmatrix} 1 \\ -1 \end{bmatrix}$，取 $k=\frac{1}{\sqrt{2}}$ 单位化：
  $$
  \mathbf{v}_2 = \begin{bmatrix} \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} \end{bmatrix}
$$

因此，矩阵 $V$ 为：
$$
V = \begin{bmatrix}
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}}
\end{bmatrix}
$$
且 $V^T = V^{-1}$。

#### **步骤 3：构造 $\Sigma$ 矩阵**

$\Sigma$ 是一个 $3 \times 2$ 的矩阵，其对角线元素是奇异值，按降序排列，其余元素为零：
$$
\Sigma = \begin{bmatrix}
4 & 0 \\
0 & 2 \\
0 & 0
\end{bmatrix}
$$

#### **步骤 4：计算 $U$ 矩阵**

$U$ 的列向量是 $AA^T$ 的单位特征向量，但更方便的方法是利用公式：
$$
\mathbf{u}_i = \frac{1}{\sigma_i} A \mathbf{v}_i
$$
对于非零奇异值。

- 计算 $\mathbf{u}_1$：

$$
  \mathbf{u}_1 = \frac{1}{4} A \mathbf{v}_1 = \frac{1}{4} \begin{bmatrix}
  3 & 1 \\
  1 & 3 \\
  0 & 0
  \end{bmatrix} \begin{bmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{bmatrix}
  = \frac{1}{4} \begin{bmatrix} \frac{4}{\sqrt{2}} \\ \frac{4}{\sqrt{2}} \\ 0 \end{bmatrix}
  = \begin{bmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \\ 0 \end{bmatrix}
$$

- 计算 $\mathbf{u}_2$：

$$
  \mathbf{u}_2 = \frac{1}{2} A \mathbf{v}_2 = \frac{1}{2} \begin{bmatrix}
  3 & 1 \\
  1 & 3 \\
  0 & 0
  \end{bmatrix} \begin{bmatrix} \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} \end{bmatrix}
  = \frac{1}{2} \begin{bmatrix} \frac{2}{\sqrt{2}} \\ -\frac{2}{\sqrt{2}} \\ 0 \end{bmatrix}
  = \begin{bmatrix} \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} \\ 0 \end{bmatrix}
$$

现在我们有两个 $U$ 的列向量，但 $U$ 需要是 $3 \times 3$ 的正交矩阵。我们需要找到第三个与 $\mathbf{u}_1, \mathbf{u}_2$ 都正交的单位向量。

观察 $\mathbf{u}_1$ 和 $\mathbf{u}_2$ 都在 $xy$-平面内，一个简单的选择是 $\mathbf{u}_3 = \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}$。验证正交性：$\mathbf{u}_1 \cdot \mathbf{u}_3 = 0$，$\mathbf{u}_2 \cdot \mathbf{u}_3 = 0$，且 $\|\mathbf{u}_3\|=1$。

因此：
$$
U = \begin{bmatrix}
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0 \\
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} & 0 \\
0 & 0 & 1
\end{bmatrix}
$$

#### **步骤 5：写出完整的 SVD**

$$
A = U \Sigma V^T =
\begin{bmatrix}
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0 \\
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} & 0 \\
0 & 0 & 1
\end{bmatrix}
\begin{bmatrix}
4 & 0 \\
0 & 2 \\
0 & 0
\end{bmatrix}
\begin{bmatrix}
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}}
\end{bmatrix}
$$

你可以手动验证这个乘法是否还原出原始的 $A$。

科数题库(单机版) 会议室预约系统(book)

今日还可看 0 篇未注册用户每天查看4篇，注册用户每天8篇，开通VIP会员无限制查看。

免费注册

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

上一篇：矩阵的特征值分解PAP★★★★★

下一篇：奇异值分解（SVD)介绍和可视化理解

本文对您是否有用？有用 (1) 无用 (0)