最后更新: 2025-07-29 20:57 查看: 328 次反馈同步训练

大数定律

> 大数定律这个名字看起来有点唬人哟，什么叫做“大数”？就是重复次数很多的数据。 本文介绍的几个大数定理其实都差不多，一句话：可以用 [用频率估计概率](https://kb.kmath.cn/kbase/detail.aspx?id=198) , 阅读本文前，建议已经了解了[依概率收敛](https://kb.kmath.cn/kbase/detail.aspx?id=559)

> 独立同分布名词解释，独立同分布包含“独立”和“同分布”两个意思，所谓独立是值每次测试结果互不影响，同分布是指数据服从同一个分布。例如 分两个批次每次各测量100个学生的身高。这里“第一次测量”的结果不影响“第二次”测量的结果，所以是“独立的”。 而身高都是服从正态分布的，因此，这就是独立同分布的意思。再例如测量一批次产品是否合格等，都是“独立同分布”

## 弱大数定律与强大数定律
大数定理严格的数学定义分为两种，一是弱大数定理，一种是强大数定律。

**弱大数定律**  设 $ X_1, X_2, X_3, \dots $ 是独立同分布的随机变量序列，期望 $ \mu = \mathbb{E}[X_i] $ 存在且有限。弱大数定律指出，样本均值**依概率收敛于期望值**：

$$
\frac{X_1 + X_2 + \dots + X_n}{n} \xrightarrow{\text{P}} \mu \quad \text{当} \quad n \to \infty
$$

其中，“$ \xrightarrow{\text{P}}$”表示依概率收敛。

**强大数定律** 设 $ X_1, X_2, X_3, \dots $ 是独立同分布的随机变量序列，期望$ \mu = \mathbb{E}[X_i] $ 存在且有限。强大数定律指出，样本均值**几乎必然收敛于期望值**：

$$
\frac{X_1 + X_2 + \dots + X_n}{n} \xrightarrow{\text{a.s.}} \mu \quad \text{当} \quad n \to \infty
$$

其中，“a.s.”表示几乎必然收敛。

不管是弱大数定律还是强大数定理，本质上没太大区别，一句话就是：当样本数量很大的时候，样本均值和真实期望值充分接近。

## 切比雪夫Chebyshev大数定律
设随机变量序列 $X_1, X_2, \cdots, X_n, \cdots$ 两两不相关，若 $E\left(X_i\right)<\infty ， D\left(X_i\right)<\infty$ ， $i=1,2, \cdots$ 。则对任意 $\varepsilon>0$ 有

$$
\begin{gathered}
P\left(\left|\frac{1}{n} \sum_{i=1}^n X_i-\frac{1}{n} \sum_{i=1}^n E\left(X_i\right)\right| \leq \varepsilon\right) \rightarrow 1 \text { 。 }
\end{gathered}
$$

证明 因为随机变量 $X_1, X_2, \cdots, X_n$ 两两不相关，根据期望和方差的性质得

$$
E\left(\frac{1}{n} \sum_{i=1}^n X_i\right)=\frac{1}{n} \sum_{i=1}^n E\left(X_i\right), \quad D\left(\frac{1}{n} \sum_{i=1}^n X_i\right)=\frac{1}{n^2} \sum_{i=1}^n D\left(X_i\right) \leq \frac{c}{n}
$$

由切比雪夫不等式知，对任意 $\varepsilon>0$ ， 当 $n \rightarrow \infty$ 时，

$$
P\left(\left|\frac{1}{n} \sum_{i=1}^n X_i-\frac{1}{n} \sum_{i=1}^n E\left(X_i\right)\right| \geq \varepsilon\right) \leq \frac{1}{\varepsilon^2} D\left(\frac{1}{n} \sum_{i=1}^n X_i\right) \leq \frac{c}{n \varepsilon^2} \rightarrow 0 \text { 。 }
$$

这里随机变量序列 $X_1, X_2, \cdots, X_n, \cdots$ 两两不相关指序列中的任意两个随机变量线性无关。

切比雪夫大数定律的通俗解释清参考[切比雪夫不等式](https://kb.kmath.cn/kbase/detail.aspx?id=558)

如果我们把切比雪夫大数定律拆分来看：
① $ \dfrac{1}{n} \sum_{i=1}^n X_i$ ... 这个是$n$次取样的平均值。

② $\dfrac{1}{n} \sum_{i=1}^n E\left(X_i\right)$ ... 这个是$n$次取样的期望的平均值。

③ 在《高等数学》例已经学过，$\varepsilon$表示任意一个小的数。

所以，切比雪夫大数定律的意思是，当采样次数足够多时，均值趋向期望值。

**它表明**，当试验次数$n$足够大的时候，随机变量序列的算数平均值具有稳定性。

`例`已知正常男性成人血液中，每一毫升白细胞数平均是 7300 ，均方差是 700 ．利用切比雪夫不等式估计每毫升白细胞数在 $5200 \sim 9400$ 范围内的概率．

解 设每毫升白细胞数为 $X$ ，依题意，$\mu=7300, \sigma^2=700^2$ ，所求概率为

$$
\begin{aligned}
P(5200 \leqslant X \leqslant 9400) & =P(5200-7300 \leqslant X-7300 \leqslant 9400-7300) \\
& =P(-2100 \leqslant X-\mu \leqslant 2100)=P(|X-\mu| \leqslant 2100) .
\end{aligned}
$$

由切比雪夫不等式

$$
P(|X-\mu| \leqslant 2100) \geqslant 1-\sigma^2 /(2100)^2=1-(700 / 2100)^2=1-1 / 9=8 / 9,
$$

即每毫升白细胞数在 $5200 \sim 9400$ 范围内的概率不小于 $8 / 9$ ．

**推论** 设 $X_1, X_2, \cdots, X_n, \cdots$ 是相互独立的随机变量序列，且 $E X_i=$ $\mu, D X_i=\sigma^2, i=1,2, \cdots$ ，则对任意的 $\varepsilon>0$ ，有 $\lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{i=1}^n X_i-\mu\right|<\varepsilon\right\}=$ 1 ，即

$$
\boxed{
\lim _{n \rightarrow \infty} \frac{1}{n} \sum_{i=1}^n X_i \stackrel{P}{=} \mu
}
$$

切比雪夫不等式推论，特别强调了一种特殊情况：在期望值一样的情况下，该公式可以进一步化简，均值就是期望值。

`例` 现有一大批种子，其中良种占 $\frac{1}{6}$ ，现从中任取 6000 粒．试分别（1）用切比雪夫不等式估计；（2）用中心极限定理计算：这 6000 粒中良种所占的比例与 $\frac{1}{6}$ 之差的绝对值不超过 0.01的概率．

解 设 6000 粒中的良种数量为 $X$ ，则 $X \sim B\left(6000, \frac{1}{6}\right)$ ．
（1）要估计的概率为

$$
P\left\{\left|\frac{X}{6000}-\frac{1}{6}\right|<\frac{1}{100}\right\}=P\{|X-1000|<60\}
$$

相当于在切比雪夫不等式中取 $\varepsilon=60$ ，于是由切比雪夫不等式可得

$$
\begin{aligned}
P\left\{\left|\frac{X}{6000}-\frac{1}{6}\right|<\frac{1}{100}\right\} & =P\{|X-1000|<60\} \\
& \geqslant 1-\frac{D(X)}{60^2}
\end{aligned}=1-\frac{5}{6} \times 1000 \times \frac{1}{3600}, ~=1-0.2315=0.7685, ~ \$
$$

即用切比雪夫不等式估计此概率值不小于 0.7685 。
（2）由拉普拉斯中心极限定理，二项分布 $B\left(6000, \frac{1}{6}\right)$ 可用正态分布 $N\left(1000, \frac{5}{6} \times 1000\right)$近似，于是，所求概率为

$$
\begin{aligned}
P\left\{\left|\frac{X}{6000}-\frac{1}{6}\right|<\frac{1}{100}\right\} & =P\{|X-1000|<60\}=P\left\{\left|\frac{X-1000}{\sqrt{\frac{5}{6} \times 1000}}\right|<\frac{60}{\sqrt{\frac{5}{6} \times 1000}}\right\} \\
& \approx 2 \Phi(2.0784)-1=2 \times 0.98124-1 \approx 0.9625
\end{aligned}
$$

比较两个结果，用切比雪夫不等式估计是比较粗略的．

## 伯努利Bernoulli大数定律

假设 $\mu_n$ 是 $n$ 重伯努利试验中事件 $A$ 发生的次数，在每次试验中事件 $A$ 发生的概率为 $p(0<p<1)$ ，则 $\frac{\mu_n}{n} \xrightarrow{p} p$ ，即对任意 $\varepsilon>0$ ，有

$$
\boxed{
\lim _{n \rightarrow \infty} P\left\{\left|\frac{\mu_n}{n}-p\right|<\varepsilon\right\}=1
}
$$

证 引人随机变量
$$
X_k=\left\{\begin{array}{ll}
0, & \text { 第 } k \text { 次试验中 } A \text { 不发生, } \\
1, & \text { 第 } k \text { 次试验中 } A \text { 发生 }
\end{array}\right.
$$

显然

$$
n_A=\sum_{k=1}^n X_k
$$

由于 $X_k$ 只依赖于第 $k$ 次试验，而各次试验是独立的，于是 $X_1, X_2, \cdots$ 是相互独立的．由于 $X_k$ 服从 $(0-1)$ 分布，因此

$$
E\left(X_k\right)=p, \quad D\left(X_k\right)=p(1-p)(k=1,2, \cdots)
$$

由推论 ，有

$$
\lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{k=1}^n X_k-p\right|<\varepsilon\right\}=1
$$

即

$$
\lim _{n \rightarrow \infty} P\left\{\left|\frac{n_A}{n}-p\right|<\varepsilon\right\}=1
$$

伯努利大数定律的通俗解释就是 [用频率估计概率](https://kb.kmath.cn/kbase/detail.aspx?id=198)

**它表明**，当样本容量足够大的时候，随机事件发生的频率依概率收敛于其发生的概率。这就说明了频率具有稳定性了，稳定于其发生的概率。

伯努利大数定律表明：当重复试验次数 $n$ 充分大时，事件 $A$ 发生的频率 $\frac{n_A}{n}$ 依概率收敛于事件 $A$ 发生的概率 $p$ 。此定理以严格的数学形式表达了频率的稳定性．在实际应用中，当试验次数很大时，**便可以用事件发生的频率来近似代替事件的概率**．

此外，如果事件 $A$ 的概率很小，则由伯努利大数定律知事件 $A$ 发生的频率也是很小的，或者说事件 $A$ 很少发生．即＂概率很小的随机事件在个别试验中几乎不会发生＂，这一原理称为**小概率原理**，它的实际应用很广泛．
 
 伯努利大数定律要求随机变量$X_i(i=1,2,…)$的方差存在,但在随机变量服从同一分布的场合,并不需要这一要求,于是又给出了辛钦大数定律
  
 
 
 ## 辛钦Khinchin大数定律 
设随机变量 $X_1, X_2, \cdots, X_n, \cdots$ 相互独立，服从同一分布，且具有数学期望 $E\left(X_i\right)=\mu, i=1,2, \cdots$ ，则对任意 $\varepsilon>0$ ，有

$$
\lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{i=1}^n X_i-\mu\right|<\varepsilon\right\}=1
$$

**辛钦大数定律不要求随机变量的方差存在**，伯努利大数定律是辛钦大数定律的特殊情况。辛钦大数定律为寻找随机变量的期望值提供了一条实际可行的途径。例如，要估计某地区的平均亩产量，可收割某些有代表性的地块，如 $n$ 块，计算其平均亩产量，则当 $n$ 较大时，可用它作为整个地区平均亩产量的一个估计。此类做法在实际应用中具有重要意义。

**它表明**，对X的n次观测的结果依概率收敛于X的期望值。这就提供一个估计随机变量期望的一个方法，利用n个随机变量序列的均值来进行估计随机变量的真实期望。

`例` 设 $\left\{X_n\right\}$ 为独立同分布的随机变量序列，其共同分布

$$
P\left(X_n=\frac{2^k}{k^2}\right)=\frac{1}{2^k}, k=1,2, \cdots
$$

试问 $\left\{X_n\right\}$ 是否服从大数定律？

解 因为 $E\left(X_n\right)=\sum_{k=1}^{\infty} \frac{2^k}{k^2} \cdot \frac{1}{2^k}=\sum_{k=1}^{+\infty} \frac{1}{k^2}=\frac{\pi^2}{6}<+\infty$ ，即 $E\left(X_n\right)$ 存在，由辛钦大数定律可知 $\left\{X_n\right\}$服从大数定律．

`例` 设总体 $X$ 服从参数为 2 的指数分布，$X_1, X_2, \cdots, X_n$ 为来自总体 $X$ 的简单随机样本，则当 $n \rightarrow \infty$ 时，$Y_n=\frac{1}{n} \sum_{i=1}^n X_i^2$ 依概率收敛于 $\qquad$ ．
解： $\frac{1}{2}$ ．
本题主要考查辛钦大数定律．由题设，$X_i(i=1,2, \cdot

其他版本
【概率论与数理统计】依概率收敛【高中数学】用频率估计概率

免费注册看余下 50%

非VIP会员每天15篇文章，开通VIP 无限制查看

上一篇：切比雪夫不等式

下一篇：列维一林德伯格中心极限定理

本文对您是否有用？有用 (0) 无用 (0)