最后更新: 2026-06-23 18:52 查看: 6 次纠错评论(0) 课件开VIP

数据拟合的最小二乘法

在工程计算和理论研究中，如果通过实验或者观测的方法得到了一组离散的数据，想要构造一个函数反映这组数据的规律性，这就是数据拟合问题，解决数据拟合问题的主要方法是最小二乘法。

另外，在数值计算中经常要遇到函数值计算或者函数性态分析的问题，如果函数表达式非常复杂，难以计算或分析，则会涉及在固定区间内用简单函数代替已知复杂函数的问题，这类问题称为函数逼近问题，通常用多项式函数来进行函数逼近．

本章主要介绍数据拟合的最小二乘法及函数逼近中的最佳平方逼近方法．
6.1 数据拟合的最小二乘法

6．1．1 数据拟合的基本思想
定义6．1 给定 $m$ 个数据点 $\left(x_1, y_1\right),\left(x_2, y_2\right), \cdots,\left(x_m, y_m\right)$ ，确定函数 $y=\varphi(x)$ ，使其对应的曲线能反映给定数据点的数据变换规律（即使离散点集中分布在曲线附近且越接近越好），则函数 $y=\varphi(x)$ 称为拟合函数．若 $y=\varphi(x)$ 为一元函数，则函数曲线为平面图形，称曲线拟合．

拟合函数 $y=\varphi(x)$ 通常可设定为如下形式：

$$
\begin{equation*}
\varphi(x)=a_0 \varphi_0(x)+a_1 \varphi_1(x)+\cdots+a_n \varphi_n(x), \tag{6.1}
\end{equation*}
$$

其中 $\left\{\varphi_0(x), \varphi_1(x), \cdots, \varphi_n(x)\right\}$ 称为拟合函数的函数类．
函数类一般根据给定数据的分布特点选取，可选幂函数类、指数函数类、三角函数类等，如果选为幂函数类 $\left\{1, x, x^2, \cdots, x^n\right\}$ ，则称多项式拟合．

6．1．2 最小二乘法
在拟合问题中，若取定函数类 $\left\{\varphi_0(x), \varphi_1(x), \cdots, \varphi_n(x)\right\}$ ，求拟合函数

$$
\varphi(x)=\sum_{j=0}^n a_j \varphi_j(x),
$$

使得

$$
\sum_{i=1}^m\left[\varphi\left(x_i\right)-y_i\right]^2=\sum_{i=1}^m\left[\sum_{j=0}^n a_j \varphi_j\left(x_i\right)-y_i\right]^2
$$

最小，以此确定拟合函数 $y=\varphi(x)$ 的方法称为曲线拟合的最小二乘法．
若记 $\delta_i=\varphi\left(x_i\right)-y_i(i=1,2, \cdots, m), \quad \delta_i$ 在回归分析中称为残差．故残差向量为

$$
\delta=\left(\begin{array}{c}
\varphi\left(x_1\right)-y_1 \\
\varphi\left(x_2\right)-y_2 \\
\vdots \\
\varphi\left(x_m\right)-y_m
\end{array}\right) .
$$

曲线拟合的最小二乘法即为以残差平方和最小问题的解来确定拟合函数的方法．记

$$
S\left(a_0, a_1, \cdots, a_n\right)=\sum_{i=1}^m\left[\sum_{j=0}^n a_j \varphi_j\left(x_i\right)-y_i\right]^2,
$$

由多元函数求极值的必要条件，

$$
\frac{\partial S}{\partial a_k}=0, \quad k=0,1,2, \cdots, n,
$$

可得

$$
2 \sum_{i=1}^m \varphi_k\left(x_i\right)\left[\sum_{j=0}^n a_j \varphi_j\left(x_i\right)-y_i\right]=0,
$$

即

$$
\begin{gathered}
\sum_{i=1}^m\left[\sum_{j=0}^n a_j \varphi_k\left(x_i\right) \varphi_j\left(x_i\right)-\varphi_k\left(x_i\right) y_i\right]=0 \\
\sum_{i=1}^m \sum_{j=0}^n a_j \varphi_k\left(x_i\right) \varphi_j\left(x_i\right)=\sum_{i=1}^m \varphi_k\left(x_i\right) y_i
\end{gathered}
$$

由

$$
\sum_{i=1}^m \sum_{j=0}^n a_j \varphi_k\left(x_i\right) \varphi_j\left(x_i\right)=\sum_{i=1}^m \varphi_k\left(x_i\right) y_i,
$$

得

$$
\sum_{j=0}^n\left[\sum_{i=1}^m \varphi_k\left(x_i\right) \varphi_j\left(x_i\right)\right] a_j=\sum_{i=1}^m \varphi_k\left(x_i\right) y_i
$$

即

$$
a_0 \sum_{i=1}^m \varphi_k\left(x_i\right) \varphi_0\left(x_i\right)+a_1 \sum_{i=1}^m \varphi_k\left(x_i\right) \varphi_1\left(x_i\right)+\cdots+a_n \sum_{i=1}^m \varphi_k\left(x_i\right) \varphi_n\left(x_i\right)=\sum_{i=1}^m \varphi_k\left(x_i\right) y_i,
$$

$$
\begin{equation*}
k=0,1,2, \cdots, n . \tag{6.2}
\end{equation*}
$$

上式为由 $n+1$ 个方程组成的方程组，称为正规方程组．求解正规方程组即可得拟合函数的系数 $a_0, a_1, \cdots, a_n$ ．

引入记号

$$
\begin{gathered}
\varphi_r=\left(\varphi_r\left(x_1\right), \varphi_r\left(x_2\right), \cdots, \varphi_r\left(x_m\right)\right), \quad r=0,1,2, \cdots, n, \\
f=\left(y_1, y_2, \cdots, y_m\right),
\end{gathered}
$$

则由内积的概念可知

$$
\left(\varphi_k, \varphi_j\right)=\sum_{i=1}^m \varphi_k\left(x_i\right) \varphi_j\left(x_i\right), \quad\left(\varphi_k, f\right)=\sum_{i=1}^m \varphi_k\left(x_i\right) y_i .
$$

显然内积满足交换律 $\left(\varphi_k, \varphi_j\right)=\left(\varphi_j, \varphi_k\right)$ ，正规方程组可化为如下形式：

$$
a_0\left(\varphi_k, \varphi_0\right)+a_1\left(\varphi_k, \varphi_1\right)+\cdots+a_n\left(\varphi_k, \varphi_n\right)=\left(\varphi_k, f\right), \quad k=0,1,2, \cdots, n .
$$

这是一个系数为 $\left(\varphi_k, \varphi_j\right)$ 、常数项为 $\left(\varphi_k, f\right)$ 的线性方程组，将其表示为矩阵形式

$$
\left(\begin{array}{cccc}
\left(\varphi_0, \varphi_0\right) & \left(\varphi_0, \varphi_1\right) & \cdots & \left(\varphi_0, \varphi_n\right)  \tag{6.3}\\
\left(\varphi_1, \varphi_0\right) & \left(\varphi_1, \varphi_1\right) & \cdots & \left(\varphi_1, \varphi_n\right) \\
\vdots & \vdots & & \vdots \\
\left(\varphi_n, \varphi_0\right) & \left(\varphi_n, \varphi_1\right) & \cdots & \left(\varphi_n, \varphi_n\right)
\end{array}\right)\left(\begin{array}{c}
a_0 \\
a_1 \\
\vdots \\
a_n
\end{array}\right)=\left(\begin{array}{c}
\left(\varphi_0, f\right) \\
\left(\varphi_1, f\right) \\
\vdots \\
\left(\varphi_n, f\right)
\end{array}\right),
$$

方程组的系数矩阵为对称矩阵．

由于 $\varphi_0(x), \varphi_1(x), \cdots, \varphi_n(x)$ 为拟合函数类的一组基，故线性无关，则正规方程组的系数矩阵非奇异，即

$$
\operatorname{det}\left[\left(\varphi_i, \varphi_j\right)_{n \times n}\right] \neq 0 .
$$

根据克拉默法则，正规方程组有唯一解，称其为最小二乘解。
当拟合函数为多项式函数时，其基函数分别是

$$
\varphi_{01}(x)=1, \varphi_1(x)=x, \cdots, \varphi_k(x)=x^k, \cdots, \varphi_n(x)=x^n,
$$

可得

$$
\begin{gathered}
\left(\varphi_k, \varphi_j\right)=\sum_{i=1}^m \varphi_k\left(x_i\right) \varphi_j\left(x_i\right)=\sum_{i=1}^m x_i^k x_i^j=\sum_{i=1}^m x_i^{k+j} \\
\left(\varphi_k, f\right)=\sum_{i=1}^m \varphi_k\left(x_i\right) y_i=\sum_{i=1}^m x_i^k y_i .
\end{gathered}
$$

其正规方程组形式为

$$
\left(\begin{array}{cccc}
m & \sum_{k=1}^m x_k & \cdots & \sum_{k=1}^m x_k^n \\
\sum_{k=1}^m x_k & \sum_{k=1}^m x_k^2 & \cdots & \sum_{k=1}^m x_k^{n+1} \\
\vdots & \vdots & & \vdots \\
\sum_{k=1}^m x_k^n & \sum_{k=1}^m x_k^{n+1} & \cdots & \sum_{k=1}^m x_k^{2 n}
\end{array}\right)\left(\begin{array}{c}
a_0 \\
a_1 \\
\vdots \\
a_n
\end{array}\right)=\left(\begin{array}{c}
\sum_{k=1}^m y_k \\
\sum_{k=1}^m x_k y_k \\
\vdots \\
\sum_{k=1}^m x_k^n y_k
\end{array}\right),
$$

求解即可得多项式拟合函数的最小二乘解．
6．1．3 超定方程组的最小二乘解
将拟合函数

$$
\varphi(x)=\sum_{j=0}^n a_j \varphi_j(x)
$$

用向量表示，

$$
\varphi(x)=\left(\begin{array}{llll}
\varphi_0(x) & \varphi_1(x) & \cdots & \varphi_n(x)
\end{array}\right)\left(\begin{array}{c}
a_0 \\
a_1 \\
\vdots \\
a_n
\end{array}\right),
$$

若令 $\varphi\left(x_i\right)=y_i(i=1,2, \cdots, m)$ ，则可得

$$
\left(\begin{array}{cccc}
\varphi_0\left(x_1\right) & \varphi_1\left(x_1\right) & \cdots & \varphi_n\left(x_1\right)  \tag{6.4}\\
\varphi_0\left(x_2\right) & \varphi_1\left(x_2\right) & \cdots & \varphi_n\left(x_2\right) \\
\vdots & \vdots & & \vdots \\
\varphi_0\left(x_m\right) & \varphi_1\left(x_m\right) & \cdots & \varphi_n\left(x_m\right)
\end{array}\right)\left(\begin{array}{c}
a_0 \\
a_1 \\
\vdots \\
a_n
\end{array}\right)=\left(\begin{array}{c}
y_1 \\
y_2 \\
\vdots \\
y_m
\end{array}\right)
$$

当 $m>n+1$（即方程个数 $>$ 末知数个数）时，称此方程组为超定方程组．
方程组的系数矩阵为

$$
\Phi=\left(\begin{array}{cccc}
\varphi_0\left(x_1\right) & \varphi_1\left(x_1\right) & \cdots & \varphi_n\left(x_1\right) \\
\varphi_0\left(x_2\right) & \varphi_1\left(x_2\right) & \cdots & \varphi_n\left(x_2\right) \\
\vdots & \vdots & & \vdots \\
\varphi_0\left(x_m\right) & \varphi_1\left(x_m\right) & \cdots & \varphi_n\left(x_m\right)
\end{array}\right) .
$$

引入前述记号

$$
\varphi_r=\left(\varphi_r\left(x_1\right), \varphi_r\left(x_2\right), \cdots, \varphi_r\left(x_m\right)\right), \quad r=0,1,2, \cdots, n,
$$

则
$$
\Phi=\left(\varphi_0^{\mathrm{T}}, \varphi_1^{\mathrm{T}}, \cdots, \varphi_n^{\mathrm{T}}\right),
$$

记

$$
a=\left(\begin{array}{c}
a_0 \\
a_1 \\
\vdots \\
a_n
\end{array}\right), \quad y=\left(\begin{array}{c}
y_1 \\
y_2 \\
\vdots \\
y_m
\end{array}\right),
$$

超定方程组简记为

$$
\Phi a=y .
$$

考虑正规方程组

$$
\left(\begin{array}{cccc}
\left(\varphi_0, \varphi_0\right) & \left(\varphi_0, \varphi_1\right) & \cdots & \left(\varphi_0, \varphi_n\right) \\
\left(\varphi_1, \varphi_0\right) & \left(\varphi_1, \varphi_1\right) & \cdots & \left(\varphi_1, \varphi_n\right) \\
\vdots & \vdots & & \vdots \\
\left(\varphi_n, \varphi_0\right) & \left(\varphi_n, \varphi_1\right) & \cdots & \left(\varphi_n, \varphi_n\right)
\end{array}\right)\left(\begin{array}{c}
a_0 \\
a_1 \\
\vdots \\
a_n
\end{array}\right)=\left(\begin{array}{c}
\left(\varphi_0, f\right) \\
\left(\varphi_1, f\right) \\
\vdots \\
\left(\varphi_n, f\right)
\end{array}\right),
$$

其系数矩阵

$$
\left(\begin{array}{cccc}
\left(\varphi_0, \varphi_0\right) & \left(\varphi_0, \varphi_1\right) & \cdots & \left(\varphi_0, \varphi_n\right) \\
\left(\varphi_1, \varphi_0\right) & \left(\varphi_1, \varphi_1\right) & \cdots & \left(\varphi_1, \varphi_n\right) \\
\vdots & \vdots & & \vdots \\
\left(\varphi_n, \varphi_0\right) & \left(\varphi_n, \varphi_1\right) & \cdots & \left(\varphi_n, \varphi_n\right)
\end{array}\right)=\left(\begin{array}{c}
\varphi_0 \\
\varphi_1 \\
\vdots \\
\varphi_n
\end{array}\right)\left(\varphi_0^{\mathrm{T}}, \varphi_2^{\mathrm{T}}, \cdots, \varphi_n^{\mathrm{T}}\right)=\Phi^{\mathrm{T}} \Phi,
$$

右端向量

$$
\left(\begin{array}{c}
\left(\varphi_0, f\right) \\
\left(\varphi_1, f\right) \\
\vdots \\
\left(\varphi_n, f\right)
\end{array}\right)=\Phi^{\mathrm{T}} y
$$

故正规方程组可记为

$$
\begin{equation*}
\Phi^{\mathrm{T}} \Phi a=\Phi^{\mathrm{T}} y, \tag{6.5}
\end{equation*}
$$

该方程组的解称为超定方程组的最小二乘解．

科数题库(单机版) 会议室预约系统(book)

今日还可看 0 篇未注册用户每天查看4篇，注册用户每天8篇，开通VIP会员无限制查看。

免费注册

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

上一篇：没有了

下一篇：正交多项式

本文对您是否有用？有用 (0) 无用 (0)