最后更新: 2025-12-17 20:19 查看: 273 次反馈能力测评会员8.2元/月赞助

阅读：正态分布的密度函数是如何推导出来？

## 正态分布的密度函数是如何得来的
正态分布是一种常见的分布，他的密度函数是
$$
f(x)=\dfrac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}
$$

这个公式是德国数学家高斯推出来的，因此正态分布也被称作**高斯分布**

![图片](/uploads/2023-10/1f2be1.jpg){width=200px}

关于高斯的介绍请点击 [此处](https://kb.kmath.cn/kbase/detail.aspx?id=637)

正态分布如此重要，以至于原德国货币10马克上，直接把高斯、正态分布曲线及其公式都画上去了，这可见高斯和正态分布在数理统计中的重要地位。

![图片](/uploads/2025-05/24d6fd.jpg){width=500px}
 
根据当年高斯发表的《天体运行论》(Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientium, 1809)，沿寻着高斯的思路进行推导。
## 高斯推导大致过程
假设有误差概率密度函数 $f(t)$ ，现在有 $n$ 个独立观测的值 $x_1, x_2, \cdots x_n$ ，假设真值为 $\mu$ ，那么误差为：

$$
\begin{aligned}
\varepsilon_1 & =x_1-\mu \\
\varepsilon_2 & =x_2-\mu \\
& \vdots \\
\varepsilon_n & =x_n-\mu
\end{aligned}
$$

根据生活经验，这个误差 $\varepsilon$ ，在做大量的观测下，其大部分的数值应在 0 附近范围波动，且出现的频数较多。而误差大的观测值，相应的 $|\varepsilon|$ 也应很大，出现的频数也应该较小。做极大似然函数  ：

$$
\begin{aligned}
L(\mu) & =\prod_{i=1}^n f\left(\varepsilon_i\right) \\
& =f\left(x_1-\mu\right) f\left(x_2-\mu\right) \cdots f\left(x_n-\mu\right)
\end{aligned}
$$

对 $L(\mu)$ 取自然对数：

$$
\begin{aligned}
\ln [L(\mu)] & =\ln \left[\prod_{i=1}^n f\left(\varepsilon_i\right)\right] \\
& =\ln \left[f\left(x_1-\mu\right) f\left(x_2-\mu\right) \cdots f\left(x_n-\mu\right)\right] \\
& =\ln \left[f\left(x_1-\mu\right)\right]+\ln \left[f\left(x_2-\mu\right)\right]+\cdots+\ln \left[f\left(x_n-\mu\right)\right] \\
& =\sum_{i=1}^n \ln \left[f\left(x_i-\mu\right)\right]
\end{aligned}
$$

为了得到 $L(\mu)$ 的最大值，对其 $\ln [L(\mu)]$ 求偏导并令其等于 0 ：

$$
\begin{aligned}
\frac{\partial \ln [L(\mu)]}{\partial \mu} & =\frac{\partial \sum_{i=1}^n \ln \left[f\left(x_i-\mu\right)\right]}{\partial \mu} \\
& =-\sum_{i=1}^n \frac{f^{\prime}\left(x_i-\mu\right)}{f\left(x_i-\mu\right)} \\
& =0
\end{aligned}
$$

注意上面出现的负号一；
令 $g(t)=\frac{f^{\prime}(t)}{f(t)}$ ，则上述式子变成：

$$
\sum_{i=1}^n g\left(x_i-\mu\right)=0
$$

到了这一步后，精彩的部分就开始来了，这也是高斯的高明之处，他认为 $\mu$ 的无偏估计应为 $\bar{x}\left(x_i\right.$ 的算术平均数）。如果有学过概率论与数理统计，应该知道，根据大数定律 ，当观测值 $\left(x_1, x_2, \cdots x_n\right)$ 的个数非常大的时候 $(n \rightarrow \infty), \bar{x}$ 应该是无限接近 $\mu$ 。那么，把上面的 $\sum$ 式里 $\mu$ 用 $\bar{x}$ 来代替，则原式子变为：

$$
\sum_{i=1}^n g\left(x_i-\bar{x}\right)=0
$$

其中，

$$
\bar{x}=\frac{1}{n} \sum_{i=1}^n x_i
$$

解上述方程，对每个 $x_i$ 求偏导，比如对 $x_1$ 求偏导，可得如下方程：

$$
\begin{aligned}
\frac{\partial \sum_{i=1}^n g\left(x_i-\bar{x}\right)}{\partial x_1} & =\frac{\partial \sum_{i=1}^n g\left(x_i-\frac{1}{n} \sum_{i=1}^n x_i\right)}{\partial x_1} \\
& =g^{\prime}\left(x_1-\bar{x}\right)\left(1-\frac{1}{n}\right)+g^{\prime}\left(x_2-\bar{x}\right)\left(-\frac{1}{n}\right)+\cdots+g^{\prime}\left(x_n-\bar{x}\right)\left(-\frac{1}{n}\right) \\
& =0
\end{aligned}
$$

注意，上述式子中， $\bar{x}$ 为 $x_1$ 的函数，所以根据复合函数求导法则，得出上述式子。和 $x_1$类似，依次得出 $x_1$ 和其他 $x_i$ 的表达式，可得如下方程组：

$$
\begin{gathered}
g^{\prime}\left(x_1-\bar{x}\right)\left(1-\frac{1}{n}\right)+g^{\prime}\left(x_2-\bar{x}\right)\left(-\frac{1}{n}\right)+\cdots+g^{\prime}\left(x_n-\bar{x}\right)\left(-\frac{1}{n}\right)=0 \\
g^{\prime}\left(x_1-\bar{x}\right)\left(-\frac{1}{n}\right)+g^{\prime}\left(x_2-\bar{x}\right)\left(1-\frac{1}{n}\right)+\cdots+g^{\prime}\left(x_n-\bar{x}\right)\left(-\frac{1}{n}\right)=0 \\
\vdots \\
g^{\prime}\left(x_1-\bar{x}\right)\left(-\frac{1}{n}\right)+g^{\prime}\left(x_2-\bar{x}\right)\left(-\frac{1}{n}\right)+\cdots+g^{\prime}\left(x_n-\bar{x}\right)\left(1-\frac{1}{n}\right)=0
\end{gathered}
$$

将 $g^{\prime}\left(x_i-\bar{x}\right)$ 看做未知数，把上述 $n$ 个齐次线性方程组写成矩阵方程 $A x = 0$ 的形式：

$$
\left(\begin{array}{cccc}
1-\frac{1}{n} & -\frac{1}{n} & \cdots & -\frac{1}{n} \\
-\frac{1}{n} & 1-\frac{1}{n} & \cdots & -\frac{1}{n} \\
\vdots & \vdots & \vdots & \vdots \\
-\frac{1}{n} & -\frac{1}{n} & -\frac{1}{n} & 1-\frac{1}{n}
\end{array}\right)\left(\begin{array}{c}
g^{\prime}\left(x_1-\bar{x}\right) \\
g^{\prime}\left(x_2-\bar{x}\right) \\
\vdots \\
g^{\prime}\left(x_n-\bar{x}\right)
\end{array}\right)=\left(\begin{array}{c}
0 \\
0 \\
\vdots \\
0
\end{array}\right)
$$

解到这一步，还真的得回去翻高等代数的教材。这个方程的解并不是那么的容易。很多＂容易看出＂、＂显然＂，对我来说，真的不是那么＂容易看出＂和＂显然＂的。

对于上述方程组的系数矩

免费注册查看余下70%

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

高等数学测评 函数与极限一元函数微分学一元函数积分学微分方程空间向量与代数多元微分学多元积分学无穷级数

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

线性代数测评 行列式矩阵向量空间

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

概率统计测评 事件与概率一维随机变量与事件多维随机变量与事件随机变量的数字特征大数定律与中心极限定理统计量与抽样分布参数估计假设检验

上一篇：连续型(标准正态分布与3σ原则-Part4)

下一篇：连续型(伽马分布garmma)

本文对您是否有用？有用 (0) 无用 (0)