日期: 2024-01-12 16:01 查看: 106 次编辑导出

最小二乘法的几何意义

6.6 数域上的线性方程组（或向量空间）的意义

在使用高斯消元法解方程组时, 大家有没有注意一个有意思的细节: 在整个解的过程中,只进行加减乘除四则运算, 没有涉及开方运算, 更没有涉及解二次以至更高次方程的计算。由此看来, 我们可以得到以下的推论:

- 假设线性方程组的增广矩阵的元素全部是有理数 (意思方程组的系数和常数项全部是有理数), 那么加、减、乘、除的消元计算结果只能是有理数。如果我们定义方程组的基础解系中的任意数为有理数, 则方程组的解集也是有理数, 从而我们可以完全在有理数的范围内讨论线性方程组。
- 类似地, 我们也可以把对方程组的讨论限制在实数域, 因为加、减、乘、除不会出现虚数。
  对方程组的讨论可以限定在某个数域, 数域的定义是:
  一个集合 $K$ 是由一些数组成的，如果这些数中的任意两个数相加、减、乘、除的结果仍然属于 $K$; 换句话讲, 集合里的全部数对加、减、乘、除四种运算是封闭的, 则我们称 $K$ 为一个数域。
  数域的例子有: 有理数域 $\mathbf{Q}$ 、实数域 $\mathbf{R}$ 、复数域 $\mathbf{C}$ 等。
  还有一个数域的例子是集合 $\{a+b \mathrm{i}$, ( $a, b$ 是有理数) $\}$, 可以验证全体 $a+b \mathrm{i}$ 对于加、减、乘、除封闭。
  全体的整数集合不是数域, 因为对除法不封闭, 两整数相除会出现分数。
  有了数域的概念后, 前面的讨论都可以限制在某一个数域上了。如以数域 $K$ 的元素为系数和常数项的线性方程组, 就可以称之为数域 $K$ 上的线性方程组。进一步, 对基础解系的任意数也可以限制在数域 $K$ 内来。

如果以数域 $K$ 的元素为分量的全体 $n$ 维向量所组成的集合, 集合里的向量关于加法和数乘 （数乘的数也属于数域 $K$ ）封闭, 因此, 对这个向量集合的讨论就可以限制在数域 $K$ 内进行,故称之为数域 $K$ 上的 $n$ 维向量空间。例如实数域 $\mathbf{R}$ 的 $n$ 维向量空间 $\mathbf{R}^n$, 复数域 $\mathbf{C}$ 上的 $n$ 维向量空间 $\mathbf{C}^n$ 。
注:
原来俺在学习函数或映射时, 不太在意声明元素属于 $(\in)$ 某个数域、定义域、值域之类,现在看来这个域不是随便叫的, 它和所讨论的具体问题的运算有关, 它和线性方程组甚至向量空间的运算有关! 比如, 欧几里得空间是定义在实数域上的, 而西空间就是定义在复数域上的。

## 6.7 超定方程组的最小二乘解的几何解释

6. 7.1 最小二乘法的向量解的几何意义

到现在为止，一个线性方程组 $\boldsymbol{A x}=\boldsymbol{b}$ 可能有解也可能无解，如果 $\boldsymbol{b}$ 不在 $\boldsymbol{A}$ 的列空间中，则方程组是不相容的, 高斯消元法将无法使用。另外, 超定方程组也是不相容的。所谓的超定方程组是方程个数多于未知数个数的方程组, 而且每个方程都不能通过行变换化为其他的方程。在实践中由于测量误差的存在和多次测量, 超定方程组是很常见的。

尽管不相容的方程组在数学严格的意义上不可解, 但我们还要求必须解出来它们, 即使结果是个非精确的解。最小二乘法就是这样的一个求解方法。

对于线性方程组 $\boldsymbol{A} \boldsymbol{x}=\boldsymbol{b}$ 无解，向量 $\boldsymbol{b}$ 不在 $\boldsymbol{A}$ 的列空间 $H$ 中（见图 6-11 (a)), 那我们可以在列空间中找个替代向量来求解, 这个替代向量在误差要求的范围内可以接受。有一个寻找替代向量的方法就是把向量 $\boldsymbol{b}$ 向列空间投影, 得到一个投影向量 $\boldsymbol{b}^{\boldsymbol{\prime}}$ 作为替代向量。可以证明或看出, 这个投影 $\boldsymbol{b}^{\boldsymbol{\prime}}$ 是所有列空间向量里最接近原向量 $\boldsymbol{b}$ 的, 是误差最小的, 因为在点 $\boldsymbol{b}$ 到空间平面上任意一点的连线中只有到投影点是最近的，投影线正交（或垂直）于平面。比如，在空间平面上任找一个向量 $\boldsymbol{b}^{\prime \prime}$ 或 $\boldsymbol{b}^{\prime \prime \prime}$ (见图 6-11 (b)), 在直角三角形 $\Delta \boldsymbol{b} \boldsymbol{b}^{\prime} \boldsymbol{b}^{\prime \prime}$ 或 $\Delta \boldsymbol{b} \boldsymbol{b}^{\prime} \boldsymbol{b}^{\prime \prime \prime}$ 中,投影线 $\boldsymbol{b} \boldsymbol{b}^{\prime}$ 作为直角边永远小于任意斜角边。也就是说, 作为误差的投影线, 其长度是最小的,亦即投影向量替代原向量的误差最小。
![图片](/uploads/2024-01/image_202401122ed77b9.png)

设向量的坐标式为 $\boldsymbol{b}=\left(x_{b 1}, x_{b 2}, \ldots, x_{b n}\right), \boldsymbol{b}^{\prime}=\left(x_{b 1}^{\prime}, x_{b 2}^{\prime}, \cdots, x_{b n}^{\prime}\right)$, 那么投影线向量是 $\boldsymbol{b}$ 和 $\boldsymbol{b}^{\prime}$相减的差 (就是误差向量):

$$
\overrightarrow{\boldsymbol{b b}^{\prime}}=\boldsymbol{b}-\boldsymbol{b}^{\prime}=\left(x_{b 1}-x_{b 1}^{\prime}, x_{b 2}-x_{b 2}^{\prime}, \cdots, x_{b n}-x_{b n}^{\prime}\right)
$$

其长度的平方就是

$$
|\overrightarrow{b \boldsymbol{b}}|^2=\left(x_{b 1}-x_{b 1}^{\prime}\right)^2+\left(x_{b 2}-x_{b 2}^{\prime}\right)^2+\cdots+\left(x_{b n}-x_{b n}^{\prime}\right)^2
$$

长度最小等价于长度的平方最小。现在看来这个最小误差是以平方和最小的形式来评估的,因此称为最小二乘法。
总结, 方程组 $\boldsymbol{A x}=\boldsymbol{b}$ 的最小二乘解 (近似解) 就是方程组 $\boldsymbol{A x}=\boldsymbol{b}^{\prime}$ 的解。
6. 7.2 一般最小二乘解的公式推导
一般地, 方程组 $\boldsymbol{A x}=\boldsymbol{b}$ 的最小二乘解有一个公式, 我们给出推导的解释。
我们知道, 误差向量 $\boldsymbol{b}-\boldsymbol{b}^{\prime}$ 与矩阵 $\boldsymbol{A}$ 的列空间正交, 也就是与 $\boldsymbol{A}$ 的每个列向量正交, 那么向量 $\boldsymbol{b}-\boldsymbol{b}^{\prime}$ 与每个列向量的点积等于零; $\boldsymbol{A}$ 转置一下, 列向量变成行向量, 仍然有内积等于零:

$$
\boldsymbol{A}^{\mathrm{T}}\left(\boldsymbol{b}-\boldsymbol{b}^{\prime}\right)=\mathbf{0}
$$

把 $\boldsymbol{A} \boldsymbol{x}=\boldsymbol{b}^{\prime}$ 代入上式, 有 $\boldsymbol{A}^{\mathrm{T}}(\boldsymbol{b}-\boldsymbol{A x})=\mathbf{0}$ 。化简得到所谓的正规方程或法方程:

$$
\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A} \boldsymbol{x}=\boldsymbol{A}^{\mathrm{T}} \boldsymbol{b}
$$

这个方程组的解就是原方程组的最小二乘解。解出这个方程组, 问题就搞定了。
进一步, 如果 $\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}$ 可逆 (注意, 不可逆上述正规方程也有解), 那么有解的公式为

$$
\boldsymbol{x}=\left(\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}\right)^{-1} \boldsymbol{A}^{\mathrm{T}} \boldsymbol{b}
$$

6. 7.3 最小二乘解的例析
   下面我们看一个例子, 由此了解最小二乘解的解析上的几何意义。
   例 6.3 在科学或工程中的一项任务就是分析或理解一些数量变化之间的联系, 其中一些数量的点列形成的图形近似接近于直线。比如在向火星发射探测器时, 我们每隔一段时间测量一下探测器到地球的距离。在这种情况下, $t$ 是时间, $y$ 是距离, 假设探测器发动机不再工作且地球对其的引力可忽略, 那么这个探测器应该是以近乎常数的速度 $V$ 在运动: $y=Y_0+V t$ 。经过 $m$次测量后得到一组方程组:

$$
\left\{\begin{array}{c}
Y_0+V t_1=y_1 \\
Y_0+V t_2=y_2 \\
\vdots \\
Y_0+V t_m=y_m
\end{array}\right.
$$

这是一个超定方程组, 因存在误差而无解 (如果不存在误差的话, 两次测量就可以搞定直线方程了)。因有两个未知数 $Y_0 、 V$ 需要确定, 根据最小二乘法的图解, 这是在 $m$ 维空间里, 一个 $m$ 维向量向一个二维子空间投影的问题。把方程组写成向量形式:

$$
\left[\begin{array}{cc}
1 & t_1 \\
1 & t_2 \\
\vdots & \vdots \\
1 & t_m
\end{array}\right]\left(\begin{array}{l}
Y_0 \\
V
\end{array}\right)=\left(\begin{array}{c}
y_1 \\
y_2 \\
\vdots \\
y_m
\end{array}\right)
$$

假设测量了 4 组时间和距离的数据 $(t, y)$ 为 $(0,0) 、(1,1) 、(3,2) 、(4,5)$, 则相应的方程组就是

$$
\left[\begin{array}{ll}
1 & 0 \\
1 & 1 \\
1 & 3 \\
1 & 4
\end{array}\right]\left(\begin{array}{l}
Y_0 \\
V
\end{array}\right)=\left(\begin{array}{l}
0 \\
1 \\
2 \\
5
\end{array}\right)
$$

对应于 $\boldsymbol{A} \boldsymbol{x}=\boldsymbol{b}$, 如使用公式计算, 首先要计算 $\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}$ 及其逆:

$$
\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}=\left[\begin{array}{llll}
1 & 1 & 1 & 1 \\
0 & 1 & 3 & 4
\end{array}\right]\left[\begin{array}{ll}
1 & 0 \\
1 & 1 \\
1 & 3 \\
1 & 4
\end{array}\right]=\left[\begin{array}{cc}
4 & 8 \\
8 & 26
\end{array}\right], \quad\left(\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}\right)^{-1}=\frac{1}{20}\left[\begin{array}{cc}
13 & -4 \\
-4 & 2
\end{array}\right]
$$

于是由最小二乘解公式
(6-9) 得

$$
\left(\begin{array}{l}
Y_0 \\
V
\end{array}\right)=\left(\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}\right)^{-1} \boldsymbol{A}^{\mathrm{T}} \boldsymbol{b}=\frac{1}{20}\left[\begin{array}{cc}
13 & -4 \\
-4 & 2
\end{array}\right]\left[\begin{array}{llll}
1 & 1 & 1 & 1 \\
0 & 1 & 3 & 4
\end{array}\right]\left(\begin{array}{l}
0 \\
1 \\
2 \\
5
\end{array}\right)=\left(\begin{array}{c}
-0.2 \\
1.1
\end{array}\right)
$$

因此最佳拟合直线为 $y=-0.2+1.1 t$, 见图 6-12。其中, 所测量的数据 $y_i$ 到直线的坚直距离的平方和最小。
![图片](/uploads/2024-01/image_20240112da809f8.png)

6.8 方程组和矩阵、向量组的关系

到此方程组的东东基本搞定, 本节简要地总结一下方程组和矩阵、向量组的关系。
6. 8.1 线性方程组与矩阵乘法的运算关系

我们可以从线性方程组之间的运算关系来看矩阵之间的运算关系。这种对应关系可以看做矩阵运算的代数意义。
设给出了两组线性方程组

和

把这两组方程组对应加起来, 就是

$$
\left\{\begin{array}{c}
y_1+z_1=\left(a_{11}+b_{11}\right) x_1+\left(a_{12}+b_{12}\right) x_2+\cdots+\left(a_{1 n}+b_{1 n}\right) x_n \\
y_2+z_2=\left(a_{21}+b_{21}\right) x_1+\left(a_{22}+b_{22}\right) x_2+\cdots+\left(a_{2 n}+b_{2 n}\right) x_n \\
\vdots \quad \vdots \quad \vdots \\
y_m+z_m=\left(a_{m 1}+b_{m 1}\right) x_1+\left(a_{m 2}+b_{m 2}\right) x_2+\cdots+\left(a_{m n}+b_{m n}\right) x_n
\end{array}\right.
$$

因此由这组方程组得到的系数矩阵就是方程组 (6-10) 和方程组 (6-11) 的系数矩阵的和:

意思是说, 矩阵的加法可以认为是来之两组等阶方程组的对应相加。
同样, 对方程组 (6-10) 两边同乘以一个常数 $K$, 就可以得到矩阵数乘的关系式:

$$
k\left[\begin{array}{cccc}
a_{11} & a_{12} & \cdots & a_{1 n} \\
a_{21} & a_{22} & \cdots & a_{2 n} \\
\vdots & \vdots & & \vdots \\
a_{m 1} & a_{m 2} & \cdots & a_{m n}
\end{array}\right]=\left[\begin{array}{cccc}
k a_{11} & k a_{12} & \cdots & k a_{1 n} \\
k a_{21} & k a_{22} & \cdots & k a_{2 n} \\
\vdots & \vdots & & \vdots \\
k a_{m 1} & k a_{m 2} & \cdots & k a_{m n}
\end{array}\right]
$$

同样, 矩阵与矩阵相乘的关系就可做看作两个方程组的带入关系, 即把方程组 (6-11) 带入方程组

得到

$$
\left\{\begin{array}{c}
y_1=\left(a_{11} b_{11}+a_{12} b_{21}+\cdots+a_{1 m} b_{m 1}\right) x_1+\cdots+\left(a_{11} b_{1 n}+a_{12} b_{2 n}+\cdots+a_{1 m} b_{m n}\right) x_n \\
y_2=\left(a_{21} b_{11}+a_{22} b_{21}+\cdots+a_{2 m} b_{m 1}\right) x_1+\cdots+\left(a_{21} b_{1 n}+a_{22} b_{2 n}+\cdots+a_{2 m} b_{m n}\right) x_n \\
\vdots \\
\vdots \\
y_k=\left(a_{k 1} b_{11}+a_{k 2} b_{21}+\cdots+a_{k m} b_{m 1}\right) x_1+\cdots+\left(a_{k 1} b_{1 n}+a_{k 2} b_{2 n}+\cdots+a_{k m} b_{m n}\right) x_n
\end{array}\right.
$$

也就是两个矩阵的积的关系是
注意矩阵的乘积的左右顺序, 令方程组 (6-12) 的系数矩阵为 $\boldsymbol{A}$, 方程组 (6-11) 的系数矩阵为 $\boldsymbol{B}$ 。把方程组 (6-11) 代入方程组 (6-12) 得到方程组 (6-13), 其系数矩阵就是 $\boldsymbol{A B}$ 。
原来, 矩阵乘法实际上就是为了解方程组而发明的算法。
6. 8.2 线性方程组、矩阵、向量组的关系

从前面的章节我们看到, 对线性方程组的研究, 包含了对向量的线性组合和矩阵方程的研究。方程组可以写成矩阵方程和向量组合形式等不同的形式, 也反映了我们研究内容的不同。即线性方程组、向量的线性组合和矩阵及其矩阵方程可作等价研究。这样, 就把线性方程组的内容、向量的线性组合的内容和矩阵及其矩阵方程的内容统一起来了。下面举一例。
例 6.4 问向量组 $\boldsymbol{\alpha}_1=(1,3,-1), \boldsymbol{\alpha}_2=(2,2,0), \boldsymbol{\alpha}_3=(1,-1,1)$ 是否线性相关。
求解分析: 要解决一个具体的向量组是否线性相关, 常用的方法是定义法。即是要考察,是否存在一组不全为 0 的数 $k_1 、 k_2 、 k_3$, 使得

$$
k_1\left(\begin{array}{c}
1 \\
3 \\
-1
\end{array}\right)+k_2\left(\begin{array}{l}
2 \\
2 \\
0
\end{array}\right)+k_3\left(\begin{array}{c}
1 \\
-1 \\
1
\end{array}\right)=\left(\begin{array}{l}
0 \\
0 \\
0
\end{array}\right)
$$

这是一个向量的线性组合式, 会感到有点不适应, 但如果改写成线性方程组的形式就习惯了:

$$
\left\{\begin{array}{l}
k_1+2 k_2+k_3=0 \\
3 k_1+2 k_2-k_3=0 \\
-k_1+k_3=0
\end{array}\right.
$$

即是要考察该齐次线性方程组是否有非零解。如果改写成矩阵方程的形式
即是要考察该齐次线性方程组是否有非零解。如果改写成矩阵方程的形式

$$
\left[\begin{array}{ccc}
1 & 2 & 1 \\
3 & 2 & -1 \\
-1 & 0 & 1
\end{array}\right]\left(\begin{array}{l}
k_1 \\
k_2 \\
k_3
\end{array}\right)=\left(\begin{array}{l}
0 \\
0 \\
0
\end{array}\right)
$$

问题就变成考察系数矩阵的秩是否小于未知量的个数。这样, 从线性方程组的解和矩阵的秩都很容易得到向量组 $\alpha_1 、 \alpha_2 、 \alpha_3$ 是线性相关的。从这个分析过程可以看出, 我们可以把线性方程组、线性组合、矩阵及其矩阵方程, 从形式到内容都统一起来作思考。
6. 8.3 秩的关系

在线性代数课程中, 秩的概念很重要, 下面以线性方程组为基础, 总结下矩阵的秩和向量组的秩。
对于一般的线性方程组:

$$
\left\{\begin{array}{c}
a_{11} x_1+a_{12} x_2+\cdots+a_{1 n} x_n=b_1 \\
a_{21} x_1+a_{22} x_2+\cdots+a_{2 n} x_n=b_2 \\
\vdots \\
a_{m 1} x_1+a_{m 2} x_2+\cdots+a_{m n} x_n=b_m
\end{array}\right.
$$

通常采用消元法求解。在消元过程中, 会出现方程组中的若干个方程被消去的情况, 剩下的方程数记为 $r(r \leqslant m)$, 这剩下的方程数是固定的, 即不管用何种方式消元, 数 $r$ 都是不变的, 称此为线性方程组的秩。
我们再看矩阵的秩:
矩阵的秩一般是用矩阵中不等于 0 的子式的最大阶数来定义的, 如果令矩阵的每行对应一个方程, 那么一个矩阵就可对应一个方程组, 由前面的讨论可知, 矩阵的秩实际上就是它所对应的线性方程组的秩; 同时, 可由矩阵的初等行变换求矩阵的秩。

矩阵的秩还可以通过其他角度来理解。可逆矩阵的秩与矩阵的阶数相同, 且其行列式不为 0 。因此, 对于方阵, 其行列式的值是否为 0 是它的一个重要数量指标。那么, 对于一般的矩阵和行列式的值为 0 的方阵有没有一个不为 0 的数量指标呢? 矩阵的秩就是此数量指标, 一个矩阵不一定有行列式, 但是它有子式, 我们用不为 0 子式的最高阶数作为矩阵的一个数量指标(即秩)是非常恰当的, 它不仅与方程组的秩相容, 也和向量组的秩相一致。

矩阵的行向量组的秩称为矩阵的行秩, 列向量组的秩称为矩阵的列秩, 而矩阵中不等于零的子式的最高阶数可称为矩阵的行列式秩, “三秩合一”, 故可统一称为矩阵的秩。另一方面,如果把矩阵行(列)向量组生成的空间称为矩阵的行(列)空间, 把矩阵行(列)向量组的最大无关组称为矩阵的基行(基列)，那么矩阵的秩就是行空间、列空间的维数，基行、基列分别是行空间、列空间的基。

而向量组的秩定义是: 一个 $n$ 维向量组, 它的极大线性无关组所含有的向量个数相同, 这个数即为此向量组的秩。

一个向量组即对应一个方程组, 这个方程组中通过消元所剩下的方程的最少个数(这个数是固定的), 即为方程组的秩(记为 $r$ ), 即在方程组中存在 $r$ 个方程, 这 $r$ 个方程可以表示此方程组
中所有的方程, 并且这 $r$ 个方程不能再少, 对应到向量组, 这 $r$ 个方程所对应的部分向量组就是该向量组的极大线性无关组。由此, 方程组的秩和向量组的秩本质上是一样的, 可以用求方程组的秩的方法求向量组的秩, 即把向量组看成矩阵的形式, 通过初等变换求秩。

综上所述, 秩、维数等, 在某种意义上说都是实质相同的概念, 都可看做向量组极大线性无关组的向量个数的引申。

上一篇：基变换与坐标变换

下一篇：没有了

本文对您是否有用？有用 (0) 无用 (0) 赞助我们

0 篇笔记写笔记

更多笔记