最后更新: 2025-02-16 10:49 查看: 278 次反馈刷题

大数定律

> 大数定律这个名字看起来有点唬人哟，什么叫做“大数”？就是重复次数很多的数据。 本文介绍的几个大数定理其实都差不多，一句话：可以用 [用频率估计概率](https://kb.kmath.cn/kbase/detail.aspx?id=198) , 阅读本文前，建议已经了解了[依概率收敛](https://kb.kmath.cn/kbase/detail.aspx?id=559)

> 独立同分布名词解释，独立同分布包含“独立”和“同分布”两个意思，所谓独立是值每次测试结果互不影响，同分布是指数据服从同一个分布。例如 分两个批次每次各测量100个学生的身高。这里“第一次测量”的结果不影响“第二次”测量的结果，所以是“独立的”。 而身高都是服从正态分布的，因此，这就是独立同分布的意思。再例如测量一批次产品是否合格等，都是“独立同分布”

## 弱大数定律与强大数定律
大数定理严格的数学定义分为两种，一是弱大数定理，一种是强大数定律。

**弱大数定律**  设 $ X_1, X_2, X_3, \dots $ 是独立同分布的随机变量序列，期望 $ \mu = \mathbb{E}[X_i] $ 存在且有限。弱大数定律指出，样本均值**依概率收敛于期望值**：

$$
\frac{X_1 + X_2 + \dots + X_n}{n} \xrightarrow{\text{P}} \mu \quad \text{当} \quad n \to \infty
$$

其中，“$ \xrightarrow{\text{P}}$”表示依概率收敛。

**强大数定律** 设 $ X_1, X_2, X_3, \dots $ 是独立同分布的随机变量序列，期望$ \mu = \mathbb{E}[X_i] $ 存在且有限。强大数定律指出，样本均值**几乎必然收敛于期望值**：

$$
\frac{X_1 + X_2 + \dots + X_n}{n} \xrightarrow{\text{a.s.}} \mu \quad \text{当} \quad n \to \infty
$$

其中，“a.s.”表示几乎必然收敛。

不管是弱大数定律还是强大数定理，本质上没太大区别，一句话就是：当样本数量很大的时候，样本均值和真实期望值充分接近。

## 切比雪夫Chebyshev大数定律
设随机变量序列 $X_1, X_2, \cdots, X_n, \cdots$ 两两不相关，若 $E\left(X_i\right)<\infty ， D\left(X_i\right)<\infty$ ， $i=1,2, \cdots$ 。则对任意 $\varepsilon>0$ 有

$$
\begin{gathered}
P\left(\left|\frac{1}{n} \sum_{i=1}^n X_i-\frac{1}{n} \sum_{i=1}^n E\left(X_i\right)\right| \leq \varepsilon\right) \rightarrow 1 \text { 。 }
\end{gathered}
$$

证明 因为随机变量 $X_1, X_2, \cdots, X_n$ 两两不相关，根据期望和方差的性质得

$$
E\left(\frac{1}{n} \sum_{i=1}^n X_i\right)=\frac{1}{n} \sum_{i=1}^n E\left(X_i\right), \quad D\left(\frac{1}{n} \sum_{i=1}^n X_i\right)=\frac{1}{n^2} \sum_{i=1}^n D\left(X_i\right) \leq \frac{c}{n}
$$

由切比雪夫不等式知，对任意 $\varepsilon>0$ ， 当 $n \rightarrow \infty$ 时，

$$
P\left(\left|\frac{1}{n} \sum_{i=1}^n X_i-\frac{1}{n} \sum_{i=1}^n E\left(X_i\right)\right| \geq \varepsilon\right) \leq \frac{1}{\varepsilon^2} D\left(\frac{1}{n} \sum_{i=1}^n X_i\right) \leq \frac{c}{n \varepsilon^2} \rightarrow 0 \text { 。 }
$$

这里随机变量序列 $X_1, X_2, \cdots, X_n, \cdots$ 两两不相关指序列中的任意两个随机变量线性无关。

切比雪夫大数定律的通俗解释清参考[切比雪夫不等式](https://kb.kmath.cn/kbase/detail.aspx?id=558)

如果我们把切比雪夫大数定律拆分来看：
① $ \dfrac{1}{n} \sum_{i=1}^n X_i$ ... 这个是$n$次取样的平均值。

② $\dfrac{1}{n} \sum_{i=1}^n E\left(X_i\right)$ ... 这个是$n$次取样的期望的平均值。

③ 在《高等数学》例已经学过，$\varepsilon$表示任意一个小的数。

所以，切比雪夫大数定律的意思是，当采样次数足够多时，均值趋向期望值。

**它表明**，当试验次数$n$足够大的时候，随机变量序列的算数平均值具有稳定性。

`例`已知正常男性成人血液中，每一毫升白细胞数平均是 7300 ，均方差是 700 ．利用切比雪夫不等式估计每毫升白细胞数在 $5200 \sim 9400$ 范围内的概率．

解 设每毫升白细胞数为 $X$ ，依题意，$\mu=7300, \sigma^2=700^2$ ，所求概率为

$$
\begin{aligned}
P(5200 \leqslant X \leqslant 9400) & =P(5200-7300 \leqslant X-7300 \leqslant 9400-7300) \\
& =P(-2100 \leqslant X-\mu \leqslant 2100)=P(|X-\mu| \leqslant 2100) .
\end{aligned}
$$

由切比雪夫不等式

$$
P(|X-\mu| \leqslant 2100) \geqslant 1-\sigma^2 /(2100)^2=1-(700 / 2100)^2=1-1 / 9=8 / 9,
$$

即每毫升白细胞数在 $5200 \sim 9400$ 范围内的概率不小于 $8 / 9$ ．

**推论** 设 $X_1, X_2, \cdots, X_n, \cdots$ 是相互独立的随机变量序列，且 $E X_i=$ $\mu, D X_i=\sigma^2, i=1,2, \cdots$ ，则对任意的 $\varepsilon>0$ ，有 $\lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{i=1}^n X_i-\mu\right|<\varepsilon\right\}=$ 1 ，即

$$
\boxed{
\lim _{n \rightarrow \infty} \frac{1}{n} \sum_{i=1}^n X_i \stackrel{P}{=} \mu
}
$$

切比雪夫不等式推论，特别强调了一种特殊情况：在期望值一样的情况下，该公式可以进一步化简，均值就是期望值。

## 伯努利Bernoulli大数定律

假设 $\mu_n$ 是 $n$ 重伯努利试验中事件 $A$ 发生的次数，在每次试验中事件 $A$ 发生的概率为 $p(0<p<1)$ ，则 $\frac{\mu_n}{n} \xrightarrow{p} p$ ，即对任意 $\varepsilon>0$ ，有

$$
\boxed{
\lim _{n \rightarrow \infty} P\left\{\left|\frac{\mu_n}{n}-p\right|<\varepsilon\right\}=1
}
$$

证 引人随机变量
$$
X_k=\left\{\begin{array}{ll}
0, & \text { 第 } k \text { 次试验中 } A \text { 不发生, } \\
1, & \text { 第 } k \text { 次试验中 } A \text { 发生 }
\end{array}\right.
$$

显然

$$
n_A=\sum_{k=1}^n X_k
$$

由于 $X_k$ 只依赖于第 $k$ 次试验，而各次试验是独立的，于是 $X_1, X_2, \cdots$ 是相互独立的．由于 $X_k$ 服从 $(0-1)$ 分布，因此

$$
E\left(X_k\right)=p, \quad D\left(X_k\right)=p(1-p)(k=1,2, \cdots)
$$

由推论 ，有

$$
\lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{k=1}^n X_k-p\right|<\varepsilon\right\}=1
$$

即

$$
\lim _{n \rightarrow \infty} P\left\{\left|\frac{n_A}{n}-p\right|<\varepsilon\right\}=1
$$

伯努利大数定律的通俗解释就是 [用频率估计概率](https://kb.kmath.cn/kbase/detail.aspx?id=198)

**它表明**，当样本容量足够大的时候，随机事件发生的频率依概率收敛于其发生的概率。这就说明了频率具有稳定性了，稳定于其发生的概率。

伯努利大数定律表明：当重复试验次数 $n$ 充分大时，事件 $A$ 发生的频率 $\frac{n_A}{n}$ 依概率收敛于事件 $A$ 发生的概率 $p$ 。此定理以严格的数学形式表达了频率的稳定性．在实际应用中，当试验次数很大时，**便可以用事件发生的频率来近似代替事件的概率**．

此外，如果事件 $A$ 的概率很小，则由伯努利大数定律知事件 $A$ 发生的频率也是很小的，或者说事件 $A$ 很少发生．即＂概率很小的随机事件在个别试验中几乎不会发生＂，这一原理称为**小概率原理**，它的实际应用很广泛．
 
 伯努利大数定律要求随机变量$X_i(i=1,2,…)$的方差存在,但在随机变量服从同一分布的场合,并不需要这一要求,于是又给出了辛钦大数定律
  
 
 
 ## 辛钦Khinchin大数定律 
设随机变量 $X_1, X_2, \cdots, X_n, \cdots$ 相互独立，服从同一分布，且具有数学期望 $E\left(X_i\right)=\mu, i=1,2, \cdots$ ，则对任意 $\varepsilon>0$ ，有

$$
\lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{i=1}^n X_i-\mu\right|<\varepsilon\right\}=1
$$

**辛钦大数定律不要求随机变量的方差存在**，伯努利大数定律是辛钦大数定律的特殊情况。辛钦大数定律为寻找随机变量的期望值提供了一条实际可行的途径。例如，要估计某地区的平均亩产量，可收割某些有代表性的地块，如 $n$ 块，计算其平均亩产量，则当 $n$ 较大时，可用它作为整个地区平均亩产量的一个估计。此类做法在实际应用中具有重要意义。

**它表明**，对X的n次观测的结果依概率收敛于X的期望值。这就提供一个估计随机变量期望的一个方法，利用n个随机变量序列的均值来进行估计随机变量的真实期望。

`例` 设 $\left\{X_n\right\}$ 为独立同分布的随机变量序列，其共同分布

$$
P\left(X_n=\frac{2^k}{k^2}\right)=\frac{1}{2^k}, k=1,2, \cdots
$$

试问 $\left\{X_n\right\}$ 是否服从大数定律？

解 因为 $E\left(X_n\right)=\sum_{k=1}^{\infty} \frac{2^k}{k^2} \cdot \frac{1}{2^k}=\sum_{k=1}^{+\infty} \frac{1}{k^2}=\frac{\pi^2}{6}<+\infty$ ，即 $E\left(X_n\right)$ 存在，由辛钦大数定律可知 $\left\{X_n\right\}$服从大数定律．

## 马尔可夫Markov大数定律
对随机变量序列 $\left\{X_n\right\}$ ，若有 $\frac{1}{n^2} D\left(\sum_{i=1}^n X_i\right) \rightarrow 0$ 成立，则 $\left\{X_n\right\}$ 服从大数定律，即对任意的 $\varepsilon>0$ ，有

$$
\lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{i=1}^n X_i-\frac{1}{n} \sum_{i=1}^n E\left(X_i\right)\right|<\varepsilon\right\}=1
$$

**它表明**，随机序列的均值方差趋于0的时候，说明随机变量列的算数平均值是稳定的，稳定于其期望的平均值。

## 例题
`例`设 $\left\{X_n\right\}$ 为独立随机变量序列，证明：若 $X_n$ 的方差 $\sigma_n^2$ 一致有界，即存在常数 $c$ ，使得 $\sigma_n^2 \leqslant c, n=1,2, \cdots$ ，则 $\left\{X_n\right\}$ 服从大数定律．

证明 因为

$$
\frac{1}{n^2} D\left(\sum_{i=1}^n X_i\right)=\frac{1}{n^2} \sum_{i=1}^n \sigma_i^2 \leqslant \frac{c}{n} \rightarrow 0(n \rightarrow \infty)
$$

所以，由马尔可夫大数定律知 $\left\{X_n\right\}$ 服从大数定律．
 
 
 
 
 `例`设 $X_1, X_2, \cdots$ 是独立同分布的随机变量序列，在下列三种情况下，当 $n \rightarrow \infty$ 时试问 $\bar{X}, \frac{1}{n} \sum_{i=1}^n X_i^2$ 分别依概率收玫于什么值？

（1）$X_i \sim B(m, p), i=1,2, \cdots$ ；
（2）$ X_i \sim E(\lambda), i=1,2, \cdots$ ；
（3）$X_i \sim N\left(\mu, \sigma^2\right), i=1,2, \cdots$ 。

解：三种情况下，$X_1, X_2, \cdots$ 均是独立同分布的随机序列，且 $X_i$ 和 $X_i^2$ 具有有限的数学期望和方差，对 $X_1, X_2, \cdots$ 及 $X_1^2, X_2^2, \cdots$ 分别使用独立同分布大数定律，得

$$
\begin{aligned}
\bar{X} & =\frac{1}{n} \sum_{i=1}^n X_i \xrightarrow{P} \frac{1}{n} \sum_{i=1}^n E\left(X_i\right)=E\left(X_i\right) \\
& \frac{1}{n} \sum_{i=1}^n X_i^2 \xrightarrow{P} \frac{1}{n} \sum_{i=1}^n E\left(X_i^2\right)=E\left(X_i^2\right)=D\left(X_i\right)+E^2\left(X_i\right)
\end{aligned}
$$

① 当 $X_i \sim B(m, p)$ 时，$E\left(X_i\right)=m p, E\left(X_i^2\right)=m p(1-p)+m^2 p^2$ ，有

$$
\bar{X} \xrightarrow{P} m p, \quad \frac{1}{n} \sum_{i=1}^n X_i^2 \xrightarrow{P} m p(1-p)+m^2 p^2
$$

② 当 $X_i \sim E(\lambda)$ 时，$E\left(X_i\right)=\frac{1}{\lambda}, E\left(X_i^2\right)=\frac{2}{\lambda^2}$ ，有

$$
\bar{X} \xrightarrow{P} \frac{1}{\lambda}, \frac{1}{n} \sum_{i=1}^n X_i^2 \xrightarrow{P} \frac{2}{\lambda^2}
$$

③ 当 $X_i \sim N\left(\mu, \sigma^2\right)$ 时，$E\left(X_i\right)=\mu, E\left(X_i^2\right)=\sigma^2+\mu_{\text {，}}^2$ 有

$$
\bar{X} \xrightarrow{P} \mu, \frac{1}{n} \sum_{i=1}^n X_i^2 \xrightarrow{P} \sigma^2+\mu^2
$$

`例` (考研例题)设 $X_1, X_2, \cdots, X_n, \cdots$ 是相互独立的随机变量序列，$X_n$ 服从参数为 $n(n \geqslant 1)$ 的指数分布，则下列随机变量序列中不服从切比雪夫大数定律的是（ ）。
（A）$X_1, \frac{1}{2} X_2, \cdots, \frac{1}{n} X_n, \cdots$
（B）$X_1, X_2, \cdots, X_n, \cdots$
（C）$X_1, 2 X_2, \cdots, n X_n, \cdots$
（D）$X_1, 2^2 X_2, \cdots, n^2 X_n, \cdots$
解 应选（D）．
切比雪夫大数定律要求 $\left\{X_n\right\}$ 相互独立，方差存在且一致有界，即 $D X_n \leqslant C$ ．逐一验证各选项是否满足这一条件，从而确定正确选项．

由题设知 $\left\{X_n\right\}$ 相互独立，且 $D X_n=\frac{1}{n^2} \leqslant 1$ ，所以选项（B）满足切比雪夫大数定律的条件．
又

$$
D\left(\frac{1}{n} X_n\right)=\frac{1}{n^2} D X_n=\frac{1}{n^4} \leqslant 1, D\left(n X_n\right)=n^2 D X_n=1 \leqslant 2,
$$

由此可知，选项（A），（B），（C）均满足切比雪夫大数定律的条件，然而 $D\left(n^2 X_n\right)=n^4 D X_n=n^2$ ，选项（D）不满足切比雪夫大数定律的条件，故选择（D）．

## 总结
注意这些大数定理的细微区别。
切比雪夫大数定律
$\lim _{n \rightarrow \infty} P\left\{P\left|\frac{1}{n} \sum_{i=1}^n X_i-\frac{1}{n} \sum_{i=1}^n E\left(X_i\right)\right|<\varepsilon\right\}=1$

伯努利大数定律
$\lim _{n \rightarrow \infty} P\left\{\left|\frac{n_A}{n}-p\right|<\varepsilon\right\}=1$

辛钦大数定律
$\lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{i=1}^n X_i-\mu\right|<\varepsilon\right\}=1$

其他版本
【高中数学】用频率估计概率【概率论与数理统计】依概率收敛

刷题

做题，是检验是否掌握数学的唯一真理

上一篇：切比雪夫不等式

下一篇：列维一林德伯格中心极限定理

本文对您是否有用？有用 (0) 无用 (0)