最后更新: 2025-05-18 07:28 查看: 230 次反馈同步训练

阅读：正态分布的密度函数是如何推导出来？

## 正态分布的密度函数是如何得来的
正态分布是一种常见的分布，他的密度函数是
$$
f(x)=\dfrac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}
$$

这个公式是德国数学家高斯推出来的，因此正态分布也被称作**高斯分布**

![图片](/uploads/2023-10/1f2be1.jpg){width=200px}

关于高斯的介绍请点击 [此处](https://kb.kmath.cn/kbase/detail.aspx?id=637)

正态分布如此重要，以至于原德国货币10马克上，直接把高斯、正态分布曲线及其公式都画上去了，这可见高斯和正态分布在数理统计中的重要地位。

![图片](/uploads/2025-05/24d6fd.jpg){width=500px}
 
根据当年高斯发表的《天体运行论》(Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientium, 1809)，沿寻着高斯的思路进行推导。
### 推导
假设有误差概率密度函数 $f(t)$ ，现在有 $n$ 个独立观测的值 $x_1, x_2, \cdots x_n$ ，假设真值为 $\mu$ ，那么误差为：

$$
\begin{aligned}
\varepsilon_1 & =x_1-\mu \\
\varepsilon_2 & =x_2-\mu \\
& \vdots \\
\varepsilon_n & =x_n-\mu
\end{aligned}
$$

根据生活经验，这个误差 $\varepsilon$ ，在做大量的观测下，其大部分的数值应在 0 附近范围波动，且出现的频数较多。而误差大的观测值，相应的 $|\varepsilon|$ 也应很大，出现的频数也应该较小。做极大似然函数  ：

$$
\begin{aligned}
L(\mu) & =\prod_{i=1}^n f\left(\varepsilon_i\right) \\
& =f\left(x_1-\mu\right) f\left(x_2-\mu\right) \cdots f\left(x_n-\mu\right)
\end{aligned}
$$

对 $L(\mu)$ 取自然对数：

$$
\begin{aligned}
\ln [L(\mu)] & =\ln \left[\prod_{i=1}^n f\left(\varepsilon_i\right)\right] \\
& =\ln \left[f\left(x_1-\mu\right) f\left(x_2-\mu\right) \cdots f\left(x_n-\mu\right)\right] \\
& =\ln \left[f\left(x_1-\mu\right)\right]+\ln \left[f\left(x_2-\mu\right)\right]+\cdots+\ln \left[f\left(x_n-\mu\right)\right] \\
& =\sum_{i=1}^n \ln \left[f\left(x_i-\mu\right)\right]
\end{aligned}
$$

为了得到 $L(\mu)$ 的最大值，对其 $\ln [L(\mu)]$ 求偏导并令其等于 0 ：

$$
\begin{aligned}
\frac{\partial \ln [L(\mu)]}{\partial \mu} & =\frac{\partial \sum_{i=1}^n \ln \left[f\left(x_i-\mu\right)\right]}{\partial \mu} \\
& =-\sum_{i=1}^n \frac{f^{\prime}\left(x_i-\mu\right)}{f\left(x_i-\mu\right)} \\
& =0
\end{aligned}
$$

注意上面出现的负号一；
令 $g(t)=\frac{f^{\prime}(t)}{f(t)}$ ，则上述式子变成：

$$
\sum_{i=1}^n g\left(x_i-\mu\right)=0
$$

到了这一步后，精彩的部分就开始来了，这也是高斯的高明之处，他认为 $\mu$ 的无偏估计应为 $\bar{x}\left(x_i\right.$ 的算术平均数）。如果有学过概率论与数理统计，应该知道，根据大数定律 ，当观测值 $\left(x_1, x_2, \cdots x_n\right)$ 的个数非常大的时候 $(n \rightarrow \infty), \bar{x}$ 应该是无限接近 $\mu$ 。那么，把上面的 $\sum$ 式里 $\mu$ 用 $\bar{x}$ 来代替，则原式子变为：

$$
\sum_{i=1}^n g\left(x_i-\bar{x}\right)=0
$$

其中，

$$
\bar{x}=\frac{1}{n} \sum_{i=1}^n x_i
$$

解上述方程，对每个 $x_i$ 求偏导，比如对 $x_1$ 求偏导，可得如下方程：

$$
\begin{aligned}
\frac{\partial \sum_{i=1}^n g\left(x_i-\bar{x}\right)}{\partial x_1} & =\frac{\partial \sum_{i=1}^n g\left(x_i-\frac{1}{n} \sum_{i=1}^n x_i\right)}{\partial x_1} \\
& =g^{\prime}\left(x_1-\bar{x}\right)\left(1-\frac{1}{n}\right)+g^{\prime}\left(x_2-\bar{x}\right)\left(-\frac{1}{n}\right)+\cdots+g^{\prime}\left(x_n-\bar{x}\right)\left(-\frac{1}{n}\right) \\
& =0
\end{aligned}
$$

注意，上述式子中， $\bar{x}$ 为 $x_1$ 的函数，所以根据复合函数求导法则，得出上述式子。和 $x_1$类似，依次得出 $x_1$ 和其他 $x_i$ 的表达式，可得如下方程组：

$$
\begin{gathered}
g^{\prime}\left(x_1-\bar{x}\right)\left(1-\frac{1}{n}\right)+g^{\prime}\left(x_2-\bar{x}\right)\left(-\frac{1}{n}\right)+\cdots+g^{\prime}\left(x_n-\bar{x}\right)\left(-\frac{1}{n}\right)=0 \\
g^{\prime}\left(x_1-\bar{x}\right)\left(-\frac{1}{n}\right)+g^{\prime}\left(x_2-\bar{x}\right)\left(1-\frac{1}{n}\right)+\cdots+g^{\prime}\left(x_n-\bar{x}\right)\left(-\frac{1}{n}\right)=0 \\
\vdots \\
g^{\prime}\left(x_1-\bar{x}\right)\left(-\frac{1}{n}\right)+g^{\prime}\left(x_2-\bar{x}\right)\left(-\frac{1}{n}\right)+\cdots+g^{\prime}\left(x_n-\bar{x}\right)\left(1-\frac{1}{n}\right)=0
\end{gathered}
$$

将 $g^{\prime}\left(x_i-\bar{x}\right)$ 看做未知数，把上述 $n$ 个齐次线性方程组写成矩阵方程 $A x = 0$ 的形式：

$$
\left(\begin{array}{cccc}
1-\frac{1}{n} & -\frac{1}{n} & \cdots & -\frac{1}{n} \\
-\frac{1}{n} & 1-\frac{1}{n} & \cdots & -\frac{1}{n} \\
\vdots & \vdots & \vdots & \vdots \\
-\frac{1}{n} & -\frac{1}{n} & -\frac{1}{n} & 1-\frac{1}{n}
\end{array}\right)\left(\begin{array}{c}
g^{\prime}\left(x_1-\bar{x}\right) \\
g^{\prime}\left(x_2-\bar{x}\right) \\
\vdots \\
g^{\prime}\left(x_n-\bar{x}\right)
\end{array}\right)=\left(\begin{array}{c}
0 \\
0 \\
\vdots \\
0
\end{array}\right)
$$

解到这一步，还真的得回去翻高等代数的教材。这个方程的解并不是那么的容易。很多＂容易看出＂、＂显然＂，对我来说，真的不是那么＂容易看出＂和＂显然＂的。

对于上述方程组的系数矩阵 $M$ ，将第 $2 \cdots n$ 行依次加到第 1 行，可得如下矩阵：

$$
M =\left(\begin{array}{cccc}
1-\frac{1}{n} & -\frac{1}{n} & \cdots & -\frac{1}{n} \\
-\frac{1}{n} & 1-\frac{1}{n} & \cdots & -\frac{1}{n} \\
\vdots & \vdots & \vdots & \vdots \\
-\frac{1}{n} & -\frac{1}{n} & -\frac{1}{n} & 1-\frac{1}{n}
\end{array}\right) \rightarrow\left(\begin{array}{cccc}
0 & 0 & \cdots & 0 \\
-\frac{1}{n} & 1-\frac{1}{n} & \cdots & -\frac{1}{n} \\
\vdots & \vdots & \vdots & \vdots \\
-\frac{1}{n} & -\frac{1}{n} & -\frac{1}{n} & 1-\frac{1}{n}
\end{array}\right)
$$

第一行全为 0 ，那么 $\operatorname{det}( M )=0$ ，这只能说明方程组有无穷多解，具体还要算出 $\operatorname{rank}( M )$ ，那么就要算出 $M$ 内子式阶数小于 $n$ 的行列式的值。按如下分析：

系数矩阵可以写成如下形式：

$$
\begin{aligned}
M & =\left(\begin{array}{cccc}
1-\frac{1}{n} & -\frac{1}{n} & \cdots & -\frac{1}{n} \\
-\frac{1}{n} & 1-\frac{1}{n} & \cdots & -\frac{1}{n} \\
\vdots & \vdots & \vdots & \vdots \\
-\frac{1}{n} & -\frac{1}{n} & -\frac{1}{n} & 1-\frac{1}{n}
\end{array}\right) \\
& =\left(\begin{array}{cccc}
1 & & & \\
& 1 & & \\
& & \ddots & \\
& & & 1
\end{array}\right)-\left(\begin{array}{cccc}
\frac{1}{n} & \frac{1}{n} & \cdots & \frac{1}{n} \\
\frac{1}{n} & \frac{1}{n} & \cdots & \frac{1}{n} \\
\vdots & \vdots & \vdots & \vdots \\
\frac{1}{n} & \frac{1}{n} & \frac{1}{n} & \frac{1}{n}
\end{array}\right) \\
& =\left(\begin{array}{cccc}
1 & & & \\
& 1 & & \\
& & \ddots & \\
& & & 1
\end{array}\right)-\left(\begin{array}{c}
1 \\
1 \\
\vdots \\
1
\end{array}\right)\left(\begin{array}{cccc}
\frac{1}{n} & \frac{1}{n} & \cdots & \frac{1}{n}
\end{array}\right) \\
& = I _n- \alpha \beta ^{T}
\end{aligned}
$

免费注册看余下 50%

非VIP会员每天15篇文章，开通VIP 无限制查看

上一篇：正态分布表的使用与上a分位数-Part4

下一篇：连续型(伽马分布garmma)

本文对您是否有用？有用 (0) 无用 (0)