最后更新: 2024-10-28 21:59 查看: 488 次反馈刷题

无偏性

## 无偏性
**定义1** 如果末知参数 $\theta$ 的估计量 $\hat{\theta}\left(X_1, X_2, \cdots, X_n\right)$ 满足 $E_\theta\left[\hat{\theta}\left(X_1, \cdots, X_n\right)\right]=\theta$ 则称 $\hat{\theta}\left(X_1, \cdots, X_n\right)$ 为 $\theta$ 的一个无偏估计量.
如果 $\lim _{n \rightarrow+\infty} E_\theta\left[\hat{\theta}\left(X_1, \cdots, X_n\right)\right]=\theta$
则称 $\hat{\theta}\left(X_1, \cdots, X_n\right)$ 为 $\theta$ 的渐近无偏估计量.

### 无偏性解释
估计量的无偏性有两个含义. 第一个含义是没有系统性的偏差，不论你用什么样的估计量 $\hat{g}$ 去估计 $g$ ，总是时而（对某些样本）偏低, 时而 (对另一些样本) 偏高. 无偏性表示, 把这些正负偏差在概率上平均起来，其值为 0 。比如用一把秤去秤东西，误差来源有二：一是秤本身结构制作上的问题，使它在秤东西时，倾向于给出偏高或偏低之值，这属于系统误差。另一种是操作上和其他随机性原因，使秤出的结果有误差，这属于随机误差。在此，无偏性的要求相应于秤没有系统误差, 但随机误差总是存在. 因此, 无偏估计不等于在任何时候都给出正确无误的估计.

另一个含义是结合大数定理引伸出来的。设想每天把这个估计量 $\hat{g}\left(X_1, \cdots, X_n\right)$ 用一次，第 $i$ 天的样本记为 $\hat{g}\left(X_1^{(i)}, \cdots, X_n^{(i)}\right), i=1,2, \cdots, N, \cdots$ 。则按大数定理，当 $N \rightarrow \infty$ 时，各次估计值的平均，即 $\sum_{i=1}^N \hat{g}\left(X_1^{(i)}, \cdots\right.$ ， $\left.X_n^{(i)}\right) / N$ ，依概率收玫到被估计的值 $g\left(\theta_1, \cdots, \theta_k\right)$ 。所以，若估计量有无偏性, 则在大量次数使用取平均时, 能以接近于 $100 \%$ 的把握无限逼近被估计的量. 如果没有无偏性, 则无论使用多少次, 其平均也会与真值保持一定距离——这距离就是系统误差.

`例`设 $\left(X_1, X_2, \cdots, X_n\right)$ 是来自总体 $X$ 的一个样本，总体 $X \sim U(0, \theta)$ 其中 $\theta>0$ 未知，
试求
（1）$\theta$ 的矩估计量 $\hat{\theta}_1$ ；
（2）$ \theta$ 的极大似然估计量 $\hat{\theta}_2$ ；
（3） 问 $\hat{\theta}_1, \hat{\theta}_2$ 是不是未知参数的无偏估计? 若不是，将其修正为无偏估计。

解 (1)由矩估计定义可知
由于 $E(X)=\frac{\theta}{2}$ ，则 $\theta=2 E(X)$ ，故 $\theta$ 的矩估计量 $\hat{\theta}_1=2 \bar{X}$.

(2)又由上一节例9得 $\hat{\theta}_2=X_{(n)}$ 。

(3) $E\left(\hat{\theta}_1\right)=E(2 \bar{X})=2 E(X)=2 \times \frac{\theta}{2}=\theta$ ；

由次序统计量的分布知当 $y \in(0, \theta)$ 时， $X_{(n)}$ 的概率密度

函数为

$$
f_n(y)=n\left(\frac{y}{\theta}\right)^{n-1} \cdot \frac{1}{\theta}=\frac{n y^{n-1}}{\theta^n}
$$

故 $\quad E\left(\hat{\theta}_2\right)=E\left(X_{(n)}\right)=\int_0^\theta y \cdot \frac{n y^{n-1}}{\theta^n} d y=\frac{n}{n+1} \theta$
因此，矩估计是无偏估计而极大似然估计不是无偏估计。
但是注意到 $\lim _{n \rightarrow+\infty} E\left(\hat{\theta}_2\right)=\theta$ ，因此 $X_{( n )}$ 是 $\theta$ 的渐近无偏估计。
定义: $\hat{\theta}_2^*=\frac{n+1}{n} \hat{\theta}_2=\frac{n+1}{n} X_{(n)}$
则满足 $E\left(\hat{\theta}_2^*\right)=\theta$ ，即修正后的 $\frac{n+1}{n} X_{( n )}$ 是 $\theta$ 的无偏估计。

`例`设总体 $X \sim N\left(\mu, \sigma^2\right),\left(X_1, X_2, \cdots, X_n\right)$ 为来自该总体的一个样本，
已求得：当 $\mu$ 已知时， $\sigma^2$ 的矩估计量 $\hat{\sigma}_1^2=\frac{1}{n} \sum_{i=1}^n X_i^2-\mu^2$ ；
当 $\mu$末知时，$\sigma^2$ 的矩估计量 $\hat{\sigma}_2^2=\frac{1}{n} \sum_{i=1}^n X_i^2-(\bar{X})^2=\frac{1}{n} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2=S_n^2$.
分别讨论是 $\hat{\sigma}_1^2 、 \hat{\sigma}_2^2$ 的无偏性.

解
$$
 \begin{aligned}
E\left(\hat{\sigma}_1^2\right) & =\frac{1}{n} \sum_{i=1}^n E\left(X_i-\mu\right)^2=\frac{1}{n} \sum_{i=1}^n E(X-\mu)^2 \\
& =E(X-\mu)^2=E(X-E(X))^2=D(X)=\sigma^2
\end{aligned}
$$

故 $\hat{\sigma}_1^2$ 是 $\sigma^2$ 的无偏估计.

$$
E\left(\hat{\sigma}_2^2\right)=E\left(S_n^2\right)=\frac{n-1}{n} \sigma^2 \neq \sigma^2, n>2
$$

故 $\hat{\sigma}_2^2=S_n^2$ 不是 $\sigma^2$ 的无偏估计.
将 $S_n^2$ 修正为 $S^2$ ，满足 $E\left(S^2\right)=\sigma^2$ ，则 $S^2$ 是 $\sigma^2$ 的无偏估计量.

### 定理 1
若总体 $X$ 的均值 $E(X)=\mu$ ，方差 $D(X)=\sigma^2$ ，样本为 $\left(X_1, X_2, \cdots, X_n\right)$ ， 则有
(1) $E(\bar{X})=\mu$,
(2) $E\left(S^2\right)=\sigma^2, E\left(S_n^2\right)=\frac{n-1}{n} \sigma^2, n \geq 2$
因此，样本均值是总体均值的无偏估计，样本方差是总体方差的无偏估计，而样本的二 阶中心矩是总体方差的渐䜣无偏估计。

> 在这里我们还可以对"自由度"这个概念赋予另一种解释：一共有 $n$ 个样本，有 $n$ 个自由度。用 $S^2$ 估计方差 $\sigma^2$ ，自由度本应为 $n$ 。但总体均值 $\mu$ 也未知，用 $\bar{X}$ 去估计之，用掉了一个自由度，故只剩下 $n-1$ 个自由度。

刷题

做题，是检验是否掌握数学的唯一真理

上一篇：点估计(极大似然估计)

下一篇：相合性

本文对您是否有用？有用 (0) 无用 (0)