最后更新: 2025-09-02 06:59 查看: 108 次纠错评论(0) 课件开VIP

最佳平方逼近

## 最简平方逼近的引出
想象我有一个周期性的波动图像

![图片](/uploads/2025-09/b88e73.jpg){width=550px} 
为了用数学函数表达他，我找到了一个函数$f(x)$

![图片](/uploads/2025-09/69e181.jpg){width=550px}

现在，**我希望找到的这个$f(x)$ 尽可能拟合波动图像**。

如何理解为上句话里的“**尽可能**”呢？就是我找到图像上一点和拟合函数一点的距离最小。为此引入最佳逼近。

### 最佳逼近（Best Approximation）
最佳逼近是数学中逼近理论的核心概念，旨在在一个特定的函数类／集合／空间中寻找一个元素，使其在某种定义的度量下，与给定的目标元素（一般是函数或数据）最为接近。

而度量、接近程度是可以通过范数来衡量的，不同的范数定义了不同类型的最佳逼近。而最佳逼近的定义如下：

> 给定一个空间 $X$ ，一个目标元素 $f \in X$ ，从某个子集 $A \subset X$ 中选出一个元素 $a^* \in A$ ，使得：
$$
\left\|f-a^*\right\|=i n f_{a \in A}\|f-a\|
$$
也就是说，$a^*$ 是距离 $f$ 最近的元素，这就是＂最佳逼近＂。

不难发现最佳逼近中是有些名词需要明确定义的：

**集合／空间**：我们需要在大的空间中找出希望逼近的元素／给定目标元素，而在一个较小空间中寻找最接近目标元素的元素。（为什么要区分大小？如果目标元素与所寻最接近元素在同一个空间，那么显然目标元素就是最接近目标元素的）

**度量**：我们需要定义度量，或者说距离。这样才能衡量＂最接近＂。

当我们注意到这两点时，就不难解释最佳逼近总是在线性赋范空间 中讨论了。我们接下来先介绍线性赋范空间，再引入线性赋范空间内的最佳逼近。

### 线性赋范空间的最佳逼近

线性赋范空间（线性空间 + 范数）
1．线性空间 $V$ ：
一个非空集合 V ，其上的元素称为向量，以及一个标量域 F （一般是实数域 $R$ 或复数域 $C$ ）。在这个集合上定义两种运算：
- 向量加法：对于任意 $u, v \in V$ ，存在唯一的元素 $u+v \in V$
- 标量乘法：对于任意 $\alpha \in F 、 v \in V$ ，存在唯一的元素 $\alpha v \in V$

并且这两种运算满足一系列公理，从而保证了向量加法和标量乘法具有良好的性质。
2．范数 $\|\cdot\|$ ：
- 个定义在线性空间 $V$ 上的实值函数 $\|\|: V \rightarrow R$ ，满足以下性质：
- 非负性
- 正定性
- 齐次性
- 三角不等式

不难发现，线性赋范空间正好给定了一个空间以及其上的度量。在它上面研究最佳逼近简直再方便不过了。

**线性赋范空间的最佳逼近**
当然，结合之前最佳逼近以及线性赋范空间的定义，大家不难想到该空间下最佳逼近的定义。但是笔者还是想复述一遍，引出的记号方便后续描述：

**定义** 设 $E$ 为一线性赋范空间，$H_m \subseteq E$ 为其 m 维子空间，$f \in E$ 为任意给定的元素，称量

$$
E\left(f ; H_m\right)=i n f_{\phi \in H_m}\|f-\phi\|
$$

为子空间 $H_m$ 对元素 $f$ 的最佳逼近，而使式子成立的元素 $\phi^* \in H_m$ 称为 $f$ 的最佳逼近元素

具体实现请参考 [信号的提取](https://kb.kmath.cn/kbase/detail.aspx?id=3164)

## Fourier 级数的逼近性质
现在我们来讨论 Fourier 级数的逼近性质．
定义16．3．1 设 $S$ 是一个定义了内积运算（•，）的线性空间，取 $S$ 中的范数为

$$
\|\cdot\|=\sqrt{(\cdot, \cdot)},
$$

$T$ 是 $S$ 的一个 $n$ 维子空间，记 $T$ 的一组正交基为 $\varphi_1, \varphi_2, \cdots, \varphi_n$ ，即

$$
T=\operatorname{span}\left\{\varphi_1, \varphi_2, \cdots, \varphi_n\right\},
$$

若对于 $x \in S$ ，有 $x_T=c_1 \varphi_1+c_2 \varphi_2+\cdots+c_n \varphi_n \in T$ ，使得

$$
\left\|x-x_T\right\|=\min _{y \in T}\|x-y\|,
$$
则称 $x_T$ 是 $x$ 在 $T$ 中的最佳平方逼近元素．
引理 16．3．1 在上述假定下
（1）对于任意 $x \in S, x$ 在 $T$ 中的最佳平方逼近元素 $x_T$ 存在且惟一；
（2）$x_T \in T$ 是 $x$ 在 $T$ 中的最佳平方逼近元素的充分必要条件是 $x-x_T \perp T$ ，即

$$
\left(x-x_T, \varphi_k\right)=0, \quad k=1,2, \cdots, n,
$$

或者等价地，$x_T$ 的组合系数

$$
c_k=\frac{\left(x, \varphi_k\right)}{\left(\varphi_k, \varphi_k\right)}, \quad k=1,2, \cdots, n ;
$$

（3）最佳平方逼近的余项满足估计式

$$
\left\|x-x_T\right\|^2=\|x\|^2-\left\|x_T\right\|^2=\|x\|^2-\sum_{k=1}^n c_k^2\left\|\varphi_k\right\|^2 .
$$

图 16．3．1 给出了引理 16．3．1 结论的一个简单示意．
 ![图片](/uploads/2025-09/0274e2.jpg)
 
 证 先证（1）和（3）．
令 $c_k=\frac{\left(x, \varphi_k\right)}{\left(\varphi_k, \varphi_k\right)}$ ，则对于任意的

$$
y=d_1 \varphi_1+d_2 \varphi_2+\cdots+d_n \varphi_n \in T
$$

利用 $\left(\varphi_j, \varphi_k\right)=0(j \neq k)$ 得到

$$
\begin{aligned}
\|x-y\|^2 & =\left(x-\sum_{k=1}^n d_k \varphi_k, x-\sum_{k=1}^n d_k \varphi_k\right) \\
& =(x, x)-2 \sum_{k=1}^n d_k\left(x, \varphi_k\right)+\sum_{k=1}^n d_k^2\left(\varphi_k, \varphi_k\right)
\end{aligned}
$$

$$
\begin{aligned}
& =(x, x)-2 \sum_{k=1}^n d_k\left(x, \varphi_k\right)+\sum_{k=1}^n d_k^2\left(\varphi_k, \varphi_k\right) \\
& =\|x\|^2-2 \sum_{k=1}^n c_k d_k\left\|\varphi_k\right\|^2+\sum_{k=1}^n d_k^2\left\|\varphi_k\right\|^2 \\
& =\|x\|^2-\sum_{k=1}^n c_k^2\left\|\varphi_k\right\|^2+\sum_{k=1}^n\left(c_k-d_k\right)^2\left\|\varphi_k\right\|^2 .
\end{aligned}
$$

于是，当且仅当

$$
d_k=c_k, \quad k=1,2, \cdots, n
$$

时，$\|x-y\|$ 达到最小值．因此取 $x_T=\sum_{k=1}^n c_k \varphi_k$ ，则 $\left\|x-x_T\right\|=\min _{y \in T}\|x-y\|$ ，且 $\left\|x-x_T\right\|^2=\|x\|^2-\sum_{k=1}^n c_k^2\left\|\varphi_k\right\|^2=\|x\|^2-\left\|x_T\right\|^2$ ．

再证（2）．
对于每个 $k=1,2, \cdots, n, x$ 在 $T$ 中的最佳平方逼近元素 $x_T=\sum_{k=1}^n c_k \varphi_k$ 满足

$$
\begin{aligned}
\left(x-x_T, \varphi_k\right) & =\left(x-\sum_{j=1}^n c_j \varphi_j, \varphi_k\right)=\left(x, \varphi_k\right)-\sum_{j=1}^n c_j\left(\varphi_j, \varphi_k\right) \\
& =c_k\left\|\varphi_k\right\|^2-c_k\left\|\varphi_k\right\|^2=0 .
\end{aligned}
$$

反之，若 $y=d_1 \varphi_1+d_2 \varphi_2+\cdots+d_n \varphi_n \in T$ 满足

$$
\left(x-y, \varphi_k\right)=0, \quad k=1,2, \cdots, n,
$$

那么，

$$
0=\left(x, \varphi_k\right)-\left(y, \varphi_k\right)=\left(x, \varphi_k\right)-\left(\sum_{j=1}^n d_j \varphi_j, \varphi_k\right)=\left(x, \varphi_k\right)-d_k\left(\varphi_k, \varphi_k\right), \quad k=1,2, \cdots, n .
$$

因此 $d_k=\frac{\left(x, \varphi_k\right)}{\left(\varphi_k, \varphi_k\right)}=c_k$ ，即 $y=x_T$ ．
证毕
现在，具体地取 $S$ 为 $[-\pi, \pi]$ 上 Riemann 可积或在反常积分意义下平方可积（为方便起见，以下都简称为＂可积或平方可积＂）的函数 $f(x)$ 全体；$S$ 中的内积 $(\cdot, \cdot)$ 和范数 $\|\cdot\|$ 定义为

$$
\begin{gathered}
(f, g)=\frac{1}{\pi} \int_{-\pi}^\pi f(x) g(x) d x \\
\|f\|=\sqrt{(f, f)}
\end{gathered}
$$

记 $T$ 为 $n$ 阶三角多项式 $\frac{A_0}{2}+\sum_{k=1}^n\left(A_k \cos k x+B_k \sin k x\right)$ 的全体，利用前面已得到的正交性，可将 $T$ 表示为

$$
T=\operatorname{span}\{1, \cos x, \sin x, \cos 2 x, \sin 2 x, \cdots, \cos n x, \sin n x\},
$$

这时，有 $\|1\|^2=2$ 利

$$
\|\cos k x\|^2=\|\sin k x\|^2=1, \quad k=1,2, \cdots, n .
$$

由 Fourier 系数的 Euler－Fourier 公式，得到

$$
\begin{aligned}
& (f, \cos k x)=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \cos k x d x=a_k, \quad k=0,1,2, \cdots, n \\
& (f, \sin k x)=\frac{1}{\pi} \int_{-\pi}^\pi f(x) \sin k x d x=b_k, \quad k=1,2, \cdots, n
\end{aligned}
$$

于是，由引理16．3．1即得到下面的重要结论．
定理 16．3．4（Fourier 级数的平方逼近性质）设 $f(x)$ 在 $[-\pi, \pi]$ 上可积或平方可积，则 $f(x)$ 在 $T$ 中的最佳平方逼近元素恰为 $f(x)$ 的 Fourier 级数的部分和函数

$$
S_n(x)=\frac{a_0}{2}+\sum_{k=1}^n\left(a_k \cos k x+b_k \sin k x\right) \text {, }
$$

逼近的余项为

$$
\left\|f-S_n\right\|^2=\frac{1}{\pi} \int_{-\pi}^\pi f^2(x) d x-\left[\frac{a_0^2}{2}+\sum_{k=1}^n\left(a_k^2+b_k^2\right)\right]
$$

因为 $\left\|f-S_n\right\|^2 \geqslant 0$ ，在余项中令 $n \rightarrow \infty$ ，即得到

## 16.3.1 最佳平方逼近
设 $f$ 是周期 $2 \pi$ 的周期函数，且在 $[-\pi, \pi]$ 上可积与平方可积 ．
考虑用三角多项式

$$
U_n(x)=\frac{\alpha_0}{2}+\sum_{k=1}^n\left(\alpha_k \cos k x+\beta_k \sin k x\right) ...(16.16)
$$

来逼近 $f$ ．这里的逼近是按照平方平均（均方）的意义上来定义的，即如何选择 （16．16）中的 $2 n+1$ 个系数，$\alpha_k \forall k=0,1, \cdots, n$ 和 $\beta_k \forall k=1, \cdots, n$ ，使得

$$
\int_{-\pi}^\pi\left[f(x)-U_n(x)\right]^2 d x ...(16.17)
$$

达到最小．
以下定理中的记号与前面相同，即

$$
f \sim \frac{a_0}{2}+\sum_{n=1}^{\infty}\left(a_n \cos n x+b_n \sin n x\right),
$$

并将其部分和记为 $S_n(x)=\frac{a_0}{2}+\sum_{k=1}^n\left(a_k \cos k x+b_k \sin k x\right)$ ．
下面证明这个最优化问题的解是取 $U_n(x)=S_n(x)$ ．

> 定理16．4 设 $f$ 是周期 $2 \pi$ 的函数，且在 $[-\pi, \pi]$ 上可积与平方可积，则有
$$
\min _{U_n} \int_{-\pi}^\pi\left[f(x)-U_n(x)\right]^2 d x=\int_{-\pi}^\pi\left[f(x)-S_n(x)\right]^2 d x
$$

证 首先直接计算（16．17）中的积分，并利用关于 Fourier 系数的 Euler－Fourier公式（16．4）和三角函数系的正交性：

$$
\begin{aligned}
\int_{-\pi}^\pi\left(f-U_n\right)^2 & =\int_{-\pi}^\pi f^2-2 \int_{-\pi}^\pi f U_n+\int_{-\pi}^\pi U_n^2 \\
& =\int_{-\pi}^\pi f^2-\pi a_0 \alpha_0-2 \pi \sum_{k=1}^n\left(a_k \alpha_k+b_k \beta_k\right)+\frac{\pi \alpha_0^2}{2}+\pi \sum_{k=1}^n\left(\alpha_k^2+\beta_k^2\right)
\end{aligned}
$$

然后用配方法得到

$$
\begin{gathered}
\int_{-\pi}^\pi\left(f-U_n\right)^2=\int_{-\pi}^\pi f^2+\frac{\pi}{2}\left(\alpha_0-a_0\right)^2+\pi \sum_{k=1}^n\left[\left(\alpha_k-a_k\right)^2+\left(\beta_k-b_k\right)^2\right] \\
-\frac{\pi}{2} a_0^2-\pi \sum_{k=1}^n\left(a_k^2+b_k^2\right)
\end{gathered}
$$

这样就知道当 $\alpha_0=a_0, \alpha_k=a_k, \beta_k=b_k, k=1, \cdots, n$ 时上式左边的积分值达到最小，且同时得到最小值为

$$
\min _{U_n} \int_{-\pi}^\pi\left(f-U_n\right)^2=\int_{-\pi}^\pi\left(f-S_n\right)^2=\int_{-\pi}^\pi f^2-\frac{\pi}{2} a_0^2-\pi \sum_{k=1}^n\left(a_k^2+b_k^2\right) .
$$

利用上述定理证明的最后一式，就可以得到著名的 Bessel ${ }^{(1)}$ 不等式．我们将它写为下面的定理。

## 说明：平方逼近
为什么叫“平方”和“逼近”？
**平方（Square）**：之所以对误差取平方，主要有两个原因：

**处理正负号**：误差有正有负（积木点在圆外还是圆内），平方后全部变成正数，可以相加而不会相互抵消。

**惩罚大误差**：平方会放大较大误差的影响。一个大小为2的误差在平方后（4）会比两个大小为1的误差（1+1=2）贡献更大。这使得方法会极力避免出现特别大的偏差。

**逼近（Approximation）**：承认我们无法得到完全精确的解，而是满足于一个在某种度量下“足够好”的近似解。

平方逼近和概率论使用方差类似。

科数题库(单机版) 会议室预约系统(book)

今日还可看 0 篇未注册用户每天查看4篇，注册用户每天8篇，开通VIP会员无限制查看。

免费注册

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

上一篇： Fourier级数的狄利克雷判别法

下一篇：贝塞尔不等式Bessel与Parseval等式

本文对您是否有用？有用 (0) 无用 (0)