最后更新: 2025-02-02 09:28 查看: 15 次反馈刷题

最小二乘法

四．最小二乘法
如右图所示，设有平面上的 $n$ 个点 $\left(x_1, y_1\right), \cdots,\left(x_i, y_i\right)$ ，似乎呈现出线性关系，问题是如何配一条直线 $y=a x+b$ ，使得与这 $n$点最为接近。

这里的 $n$ 个点是从实验得到的。一般来说，无论怎样取 $a, b$ ，都不可能使得等式

图 3：最小二乘法示意图 $y_i=a x_i+b$ 对每一个 $i$ 成立。

定义 $\varepsilon_i=a x_i+b-y_i, i=1, \cdots, n$ ，由 Gauss 提出的最小二乘法的思想是寻找 $a, b$ ，使得

$$
\varepsilon=\sum_{i=1}^n \varepsilon_i^2=\sum_{i=1}^n\left(a x_i+b-y_i\right)^2
$$

达到最小 ${ }^{(1)}$ ．
 ![图片](/uploads/2025-02/f3be62.jpg)
 
 这里 $\varepsilon$ 是 $a, b$ 的二元函数，于是可以由 Fermat 定理列出以下方程：

$$
\begin{aligned}
& \frac{\partial \varepsilon}{\partial a}=2 \sum_{i=1}^n\left(a x_i+b-y_i\right) x_i=2\left(a \sum_{i=1}^n x_i^2+b \sum_{i=1}^n x_i-\sum_{i=1}^n x_i y_i\right)=0, \\
& \frac{\partial \varepsilon}{\partial b}=2 \sum_{i=1}^n\left(a x_i+b-y_i\right)=2\left(a \sum_{i=1}^n x_i+n b-\sum_{i=1}^n y_i\right)=0,
\end{aligned}
$$

并解出

$$
\hat{a}=\frac{n \sum_{i=1}^n x_i y_i-\sum_{i=1}^n x_i \sum_{i=1}^n y_i}{n \sum_{i=1}^n x_i^2-\left(\sum_{i=1}^n x_i\right)^2}, \quad \hat{b}=\frac{\sum_{i=1}^n x_i^2 \sum_{i=1}^n y_i-\sum_{i=1}^n x_i \sum_{i=1}^n x_i y_i}{n \sum_{i=1}^n x_i^2-\left(\sum_{i=1}^n x_i\right)^2} .
$$

这里有几个问题需要讨论，首先上面的两个分式的分母是否会等于 0 ？
利用 Cauchy 不等式，就有

$$
\left(\sum_{i=1}^n x_i\right)^2 \leqslant n \sum_{i=1}^n x_i^2
$$

且仅当所有 $x_i$ 均相等时成立等式．于是只要不是这种特殊情况，以上求解公式总是正确的．（显然，这种情况不在最小二乘法考虑的范围中．如果发生，则取所有的 $y_i$ 的算术平均值即可．）
第二个问题是这样求出的 $\hat{a}, \hat{b}$ 是否使得 $\varepsilon(a, b)$ 达到最小值．这里的关键在于函数 $\varepsilon(a, b)$ 是在 $a, b$ 的全平面上具有如下形式的二次函数：

$$
\begin{aligned}
\varepsilon(a, b) & =\sum_{i=1}^n\left(a x_i+b-y_i\right)^2 \\
& =a^2 \sum_{i=1}^n x_i^2+2 a b \sum_{i=1}^n x_i+n b^2-2 a \sum_{i=1}^n x_i y_i-2 b \sum_{i=1}^n y_i+\sum_{i=1}^n y_i^2
\end{aligned}
$$

可见当（1）中成立严格不等号时，前三项是关于 $a, b$ 的正定二次型，因此必有

$$
\lim _{|a|+|b| \rightarrow \infty} \varepsilon(a, b)=+\infty .
$$

这就保证 $\varepsilon(a, b)$ 存在最小值，且一定是极小值．由于前述计算表明极小值点惟一，因此它就是最小值点。

注 若对于由实验得到的数据用其他类型的曲线更为合适，则也可以用类似的方法求出该曲线．例如对于 $y=a e ^{b x}(a>0)$ ．可以通过取对数的方法变成为 $\ln y=\ln a+b x$ ，然后再用上述最小二乘法。

其他版本
【线性代数】最小二乘法的几何意义

刷题

做题，是检验是否掌握数学的唯一真理

上一篇：极值

下一篇：约束极值

本文对您是否有用？有用 (0) 无用 (0)