最后更新: 2024-11-20 21:04 查看: 292 次反馈刷题

点估计概述

### 点估计的引入
某个调查小组要统计当地人员的平均工资，为此，他们随机的找了当地100个工作人员，算出这100个人的平均工资为5000元，由此他们推出，当地人平均工资,5000元。
当然，这里一次采样可能误差太大，所以，他们采样10次，得到10次平均工资为：4500,5000,6000,3500,6500,5200,4800,5000,5300,4800，
然后把这10次的工作加起来除以采样次数10，得到平均值$\theta$，再用这个$\theta$来估算当地人的平均工资$\hat{\theta}=\theta$。这种估计被称为点估计。
从这里可以看到，点估计里，使用局部的样本值来估算整体的样本值。上面的做法用数学术语就是用“样本的平均值当做整体的期望值”，但是实际问题中通常问题比较复杂。虽然所研究的总体分布类型已知，但分布中含有一个或多个未知参数，我们要做的是根据样本数据如何构造一个函数使得参数的估计量更接近实际值，这就是参数估计问题。比如知道学生的身高服从正态分布$N \sim (\mu, \sigma^2)$, 如何根据样本值来推算出$\mu, \sigma$。因为这里算出的$\mu, \sigma$是估计值，所以通常写成$\hat{\mu}, \hat{\sigma}$。

## 定义

设总体 $X$ 的分布函数为 $F(x ; \theta)$, 其中$\theta$ 是未知参数, $X_1, X_2, \cdots, X_n$ 是取自总体 $X$的一个样本, 相应样本值为 $x_1, x_2, \cdots, x_n$, 为估计未知参数 $\theta$, 需构造一个适当的统计量

$$
\hat{\theta}\left(X_1, X_2, \cdots, X_n\right),
$$

然后用其观察值

$$
\hat{\theta}\left(x_1, x_2, \cdots, x_n\right)
$$

来估计 $\theta$ 的值, 称 $\hat{\theta}\left(X_1, X_2, \cdots, X_n\right)$ 为 $\theta$ 的**估计量**, 而 $\hat{\theta}\left(x_1, x_2, \cdots, x_n\right)$ 为 $\theta$ 的估计值. 在不致混淆的情况下，估计量与估计值统称为**点估计**，简称为估计，并简记为 $\hat{\theta}$ 。

由于估计量 $\hat{\theta}\left(X_1, X_2, \cdots, X_n\right)$ 是一个随机变量, 是样本的函数, 即是一个统计量, 对不同的样本值， $\theta$ 的估计值 $\hat{\theta}$ 一般是不同的。

点估计的两种常用方法一一矩估计法和极（最）大似然估计法.

## 判断点估计好坏的指标

### 无偏估计
设 $\hat{\theta}=\hat{\theta}\left(x_1, x_2, \cdots, x_n\right)$ 是 $\theta$ 的一个估计, $\theta$ 的参数空间为 $\Theta$, 若对任意的 $\theta \in \Theta$, 有
$$
E_\theta(\hat{\theta})=\theta,
$$
则称 $\hat{\theta}$ 是 $\theta$ 的无偏估计, 否则称为有偏估计.

在上面工资举例里，当地实际工资虽然不知道但是可以知道他是一个确定的值，我们希望通过样本来估算实际工资时，误差越小越好。

无偏性要求可以改写为 $E_\theta(\hat{\theta}-\theta)=0$, 这表示无偏估计没有系统偏差. 当我们使用 $\hat{\theta}$ 估计 $\theta$ 时, 由于样本的随机性, $\hat{\theta}$ 与 $\theta$ 总是有偏差的, 这种偏差时而 (对某些样本观测值) 为正, 时而 (对另一些样本观测值) 为负, 时而大, 时而小. 无偏性表示, 把这些偏差平均起来其值为 0 , 这就是无偏估计的含义。而若估计不具有无偏性, 则无论使用多少次, 其平均也会与参数真值有一定的距离, 这个距离就是系统误差.

### 矩估计法（重要）
进行区间估计详细点击 [矩估计发](https://kb.kmath.cn/kbase/detail.aspx?id=571)

### 极大似然估计（非常重要）
最可能的估计， 详细点击 [极大似然估计](https://kb.kmath.cn/kbase/detail.aspx?id=572)

### 刀切法Jackknife（仅了解即可）
大偏差通常被视为估计的一种不足, 有人提出了多种缩小偏差的方法.下面的刀切法就是由 Quenouille 于1949 年和 1956 年提出的, 而正式命名则由图基 (Tukey) 于 1958 年给出.

设 $T( x )$ 是基于样本 $x =\left(x_1, x_2, \cdots, x_n\right)$ 的关于参数 $g(\theta)$ 的估计量，且满足 $E_\theta(T( x ))=g(\theta)+O\left(\frac{1}{n}\right)$ 。如以 $x _{(-i)}$ 表示从样本中删去 $x_i$ 后的向量, 则 $T( x )$ 的刀切统计量定义为

$$
T_{\jmath}( x )=n T( x )-\frac{n-1}{n} \sum_{i=1}^n T\left( x _{(-i)}\right) .
$$

可以证明: 刀切统计量具有如下性质:

$$
E_\theta\left(T_J( x )\right)=g(\theta)+O\left(\frac{1}{n^2}\right)
$$

并且其方差不会增大.
譬如，设总体为 $b(1, \theta), x_1, x_2, \cdots, x_n$ 是其样本，又设 $g(\theta)=\theta^2$ ，则 $T( x )=\bar{x}^2$ 是 $g(\theta)$ 的一个估计, 且

$$
E(T( x ))=\theta^2+\frac{\theta(1-\theta)}{n}=g(\theta)+O\left(\frac{1}{n}\right) .
$$

下面应用刀切法, 注意到

$$
T\left( x _{(-i)}\right)=\left(\frac{\sum_{j=1}^n x_j-x_i}{n-1}\right)^2=\frac{n^2 \bar{x}^2+x_i^2-2 n x_i \bar{x}}{(n-1)^2}
$$

于是

$$
T_J( x )=n \bar{x}^2-\frac{n-1}{n} \sum_{i=1}^n \frac{n^2 \bar{x}^2+x_i^2-2 n x_i \bar{x}}{(n-1)^2}=\frac{n \bar{x}^2}{n-1}-\frac{\sum_{i=1}^n x_i^2}{n(n-1)} .
$$

可以验证 $E T_J( x )=g(\theta)$.

刷题

做题，是检验是否掌握数学的唯一真理

上一篇：本章思维导图

下一篇：点估计(矩估计法)

本文对您是否有用？有用 (0) 无用 (0)