最后更新: 2025-09-20 22:22 查看: 347 次反馈能力测评会员8.2元/月赞助

最小二乘法的几何意义

## 数域上的线性方程组（或向量空间）的意义

在使用高斯消元法解方程组时, 大家有没有注意一个有意思的细节: 在整个解的过程中,只进行加减乘除四则运算, 没有涉及开方运算, 更没有涉及解二次以至更高次方程的计算。由此看来, 我们可以得到以下的推论:

> 假设线性方程组的增广矩阵的元素全部是有理数 (意思方程组的系数和常数项全部是有理数), 那么加、减、乘、除的消元计算结果只能是有理数。如果我们定义方程组的基础解系中的任意数为有理数, 则方程组的解集也是有理数, 从而我们可以完全在有理数的范围内讨论线性方程组。

类似地, 我们也可以把对方程组的讨论限制在实数域, 因为加、减、乘、除不会出现虚数。
  对方程组的讨论可以限定在某个数域, 数域的定义是:
  一个集合 $K$ 是由一些数组成的，如果这些数中的任意两个数相加、减、乘、除的结果仍然属于 $K$; 换句话讲, 集合里的全部数对加、减、乘、除四种运算是封闭的, 则我们称 $K$ 为一个数域。
  数域的例子有: 有理数域 $\mathbf{Q}$ 、实数域 $\mathbf{R}$ 、复数域 $\mathbf{C}$ 等。
  还有一个数域的例子是集合 $\{a+b \mathrm{i}$, ( $a, b$ 是有理数) $\}$, 可以验证全体 $a+b \mathrm{i}$ 对于加、减、乘、除封闭。
  
  
> **全体的整数集合不是数域, 因为对除法不封闭, 两整数相除会出现分数。**
  
  有了数域的概念后, 前面的讨论都可以限制在某一个数域上了。如以数域 $K$ 的元素为系数和常数项的线性方程组, 就可以称之为数域 $K$ 上的线性方程组。进一步, 对基础解系的任意数也可以限制在数域 $K$ 内来。

如果以数域 $K$ 的元素为分量的全体 $n$ 维向量所组成的集合, 集合里的向量关于加法和数乘 （数乘的数也属于数域 $K$ ）封闭, 因此, 对这个向量集合的讨论就可以限制在数域 $K$ 内进行,故称之为数域 $K$ 上的 $n$ 维向量空间。例如实数域 $\mathbf{R}$ 的 $n$ 维向量空间 $\mathbf{R}^n$, 复数域 $\mathbf{C}$ 上的 $n$ 维向量空间 $\mathbf{C}^n$ 。
注:
原来俺在学习函数或映射时, 不太在意声明元素属于 $(\in)$ 某个数域、定义域、值域之类,现在看来这个域不是随便叫的, 它和所讨论的具体问题的运算有关, 它和线性方程组甚至向量空间的运算有关! 比如, 欧几里得空间是定义在实数域上的, 而西空间就是定义在复数域上的。

##   超定方程组的最小二乘解的几何解释

### 最小二乘法的向量解的几何意义

到现在为止，一个线性方程组 $\boldsymbol{A x}=\boldsymbol{b}$ 可能有解也可能无解，如果 $\boldsymbol{b}$ 不在 $\boldsymbol{A}$ 的列空间中，则方程组是不相容的, 高斯消元法将无法使用。另外, 超定方程组也是不相容的。所谓的超定方程组是方程个数多于未知数个数的方程组, 而且每个方程都不能通过行变换化为其他的方程。在实践中由于测量误差的存在和多次测量, 超定方程组是很常见的。

尽管不相容的方程组在数学严格的意义上不可解, 但我们还要求必须解出来它们, 即使结果是个非精确的解。最小二乘法就是这样的一个求解方法。

对于线性方程组 $\boldsymbol{A} \boldsymbol{x}=\boldsymbol{b}$ 无解，向量 $\boldsymbol{b}$ 不在 $\boldsymbol{A}$ 的列空间 $H$ 中（见图 6-11 (a)), 那我们可以在列空间中找个替代向量来求解, 这个替代向量在误差要求的范围内可以接受。有一个寻找替代向量的方法就是把向量 $\boldsymbol{b}$ 向列空间投影, 得到一个投影向量 $\boldsymbol{b}^{\boldsymbol{\prime}}$ 作为替代向量。**可以证明或看出, 这个投影 $\boldsymbol{b}^{\boldsymbol{\prime}}$ 是所有列空间向量里最接近原向量 $\boldsymbol{b}$ 的, 是误差最小的**, 因为在点 $\

其他版本
【数学分析】最小二乘法

免费注册查看余下70%

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

高等数学测评 函数与极限一元函数微分学一元函数积分学微分方程空间向量与代数多元微分学多元积分学无穷级数

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

线性代数测评 行列式矩阵向量空间

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

概率统计测评 事件与概率一维随机变量与事件多维随机变量与事件随机变量的数字特征大数定律与中心极限定理统计量与抽样分布参数估计假设检验

上一篇：线性变换的矩阵表示式(相似矩阵)

下一篇：本章思维导图

本文对您是否有用？有用 (0) 无用 (0)