最后更新: 2025-03-05 08:16 查看: 668 次纠错评论(0) 课件开VIP

奇异值分解（SVD)介绍和可视化理解

## 介绍
终于有机会来介绍我在线性代数中最喜欢的技术——奇异值分解 （SVD），从某种程度上来说，这可能是线性代数中最具有理论意义和实用价值的技术了，虽然很遗憾我在本科毕业后大概两年才理解到这一点，这种技术可以对任何矩阵适用，不仅仅是方阵，对一般的矩形矩阵也是适用的，仅以我的知识层面而言，SVD的应用就包括，例如推荐系统中的协同滤波和图像处理领域的图像压缩。我们在这期推送中，有机会向大家介绍这种技术，好了，让我们开始吧。

## 奇异值分解 （$SVD$）
首先，什么是$SVD$，你如何表示它？在数学中，我们可以将任何一个矩阵A做奇异值分解，用数学符号表示如下

$$
A=USV^T ...(1)
$$

这里：

1． $U$ 是一个 $n \times n$ 正交矩阵，其列叫做 $A$ 的**左奇异向量**。
2． $V$ 是一个$d \times d$ 正交矩阵，其列叫做 $A$ 的**右奇异向量**。
3． $S$ 是一个 $n \times d$ 对角矩阵，对角线上具有非负数字，我们通常将这些数字从大到小排序，人们给这些数字一个名称叫做 $A$ 的**奇异值**。

为了更清楚地介绍上面的名词，我们说如果存在满足下面公式的向量 $u$ 和 $v$ ，则向量 $u$ 和 $v$ 称为**奇异向量**。 $\sigma$ 叫做是一个**奇异值**。

$$
A v=\sigma u ...(2)
$$

我们要仔细观察一下方程（1）和方程（2），事实上他们表达的是同一个意思，我们注意到因为 $v$是正交矩阵，所以它的逆矩阵就是其转置矩阵，注意到这一点，我们就知道了方程（1）事实就是（2）的紧凑的矩阵形式，因此，每个奇异向量都有一个对应的奇异值。下面我们来进行可视化，颜色相同的列表示对应的奇异值和向量，如下图所示。

![图片](/uploads/2025-03/d92a55.jpg)
 
 
## SVD和正交对角化的区别

到目前为止，我们有了$SVD$的初步概念，那么，在下一步，一个很自然的问题就是我们如何计算$SVD$？在深入研究这个问题之前，我想澄清另外一个问题即 $SVD$ 和大家熟知正交对角化之间的区别，因为它们是非常相似的概念。如果你已经忘了什么是正交对角化，那么我们还是首先回顾一下**正交对角化**的定义：参考[附录2](https://kb.kmath.cn/kbase/detail.aspx?id=772)

$$
A=P D P^T
$$

1． $P$ 是 $A$ 的正交矩阵和正交特征向量

2． $D$ 是一个对角矩阵，其对角线上是 $A$ 的特征值。
 
 SVD 和正交对角化之间的关键区别在于正交对角化仅适用于方阵。此外，虽然 SVD 在公式中有两个不同的矩阵（$U$ 和 $V$ ），但正交对角化只有一个矩阵（$P$ ）。这些公式究竟是什么意思？我们不妨做一些可视化的展示，帮助你理解这些矩阵。
 
 正交矩阵 — 旋转空间
  ![z.gif](/uploads/2025-03/036da9.gif)
  
  对角矩阵 — 缩放空间
   ![2.gif](/uploads/2025-03/7f1cbd.gif)
   
   从上面两张动画中我们了解到了正交矩阵和对角矩阵的重要含义。正交矩阵总是使空间旋转或反射，而对角矩阵总是使空间缩放。我相信大家从动图中清楚地看到了这一点，为了防止你忘记这一点，我们在下面的图片中做了总结

![图片](/uploads/2025-03/fb2ad2.jpg)
 
 此外，还记得吗？我们提到过正交矩阵的转置矩阵等价于其逆矩阵。我们也可以通过可视化的方法来看出你可以看到，当你将正交矩阵应用于箭头时，箭头会旋转。然后，通过应用其转置矩阵，箭头返回到其原始坐标。因为它返回到原始坐标，所以它具有与逆矩阵相同的功能。
  ![3.gif](/uploads/2025-03/882e6b.gif)
  
  我们现在对正交矩阵和对角线矩阵的几何含义有了初步的了解，因此下面这张图可能会对我们有所启发。
 ![图片](/uploads/2025-03/70f13e.jpg)
   
![图片](/uploads/2025-03/498750.jpg)
    
 上图描述了正交对角化。下面那张图则表示SVD分解
 
 ## 如何计算 SVD
在实际算法中，我们可以计算 A 的 SVD，如下所示（＊表示转置共轭或者伴随）由于大多数的应用都是实矩阵，所以共轭就变得可有可无，因而在实矩阵的意义下，这个符号就是转置的意思。

1．计算左奇异向量（U）。它等于 $AA ^*$ 的特征向量。
2．计算右奇异向量（V）。它等于 $A^* A$ 的特征向量。
3．计算 $A A^*$ 或 $A^* A(D)$ 的特征值的平方根。

然后，我们就会得到 SVD 的所有信息。让我们验证此过程是否正确。例如，我将使用下面的矩阵：
$$
A=\left[\begin{array}{ll}
2 & 4 \\
1 & 3 \\
0 & 0 \\
0 & 0
\end{array}\right]
$$

第一步，您需要计算 $AA*$ 的特征向量。
下一步，您需要计算 $A*A$ 的特征向量。你可以用同样的方式证明
它。
对于最后一步，你必须计算来自 AA* 或 A*A 的特征值的平方根。而这两个具有相同的特征值！
$$
S=\left[\begin{array}{cc}
\sqrt{\sigma_1} & 0 \\
0 & \sqrt{\sigma_2} \\
0 & 0 \\
0 & 0
\end{array}\right]=\left[\begin{array}{cc}
5.47 & 0 \\
0 & 0.37 \\
0 & 0 \\
0 & 0
\end{array}\right]
$$

虽然我们经历了 SVD 的数学过程，但实际上Python 里可以快速计算它，因为人们已经把相应的数学过程压缩到包里了，从而你可以方便的调用它们。
 ![图片](/uploads/2025-03/33d454.jpg)
 
 
注：本文转载自微信公众号 [MathSpark](https://mp.weixin.qq.com/s/SBwRI1vg3h-wqjphMsHbGA)

科数题库(单机版) 会议室预约系统(book)

今日还可看 0 篇未注册用户每天查看4篇，注册用户每天8篇，开通VIP会员无限制查看。

免费注册

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

上一篇：矩阵的奇异值SVD分解

下一篇：一文让你通俗理解奇异值分解SVD

本文对您是否有用？有用 (0) 无用 (0)