最后更新: 2024-11-20 22:11 查看: 324 次反馈刷题

点估计(极大似然估计)

### 引言
极大似然估计的通俗解释例子：假设一个箱子中装有黑球和白球两种颜色的球，已经知道其中一种颜色的球有99个，另一种颜色的球只有1个。 但是到底是黑球是99个还是白球是99个我们不知道。
现在，我们随机地从这个箱子里**有放回**地取 2 个球，结果取得的都是白球，问这个箱子中那个颜色为99个的可能性是黑球还是白球?

解：不妨设箱子中白球的比例为 $p$ ，事实上 $p$ 的取值就是两种可能，即 $p=0.01$ 或 $p=0.99$ ，不管是哪种可能，从箱子中任取 2 个球都是白球这个事件都是可能发生的. 但是
若 $p=0.01$ 时，则取得的都是白球的概率为 $p^2=0.01^2=0.0001$ ；
若 $p=0.99$ 时，则取得的都是白球的概率为 $p^2=0.99^2=0.98$.

这个计算结果表明，在 $p=0.99$ 时，则取得的 2 个球都是白球的概率大，这说明箱子中白球有 99 个，黑球只有 1 个的可能性大，即推断 $\hat{p}=0.99$. 也就是这100个球里，黑球为1个，白球为99个可能性最大。

极大似然估计其实叫做**最可能估计**应该比较好理解。就像上面例子，“99个黑球+1个白球”和“99个白球+1个黑球”，摸了两次都是白球，虽然不排除前者，但是那种可能性太低，我们有充足的理由认为，箱子里是“99个白球+1个黑球”。

> 最大似然估计法是用得到的数据反推最可能使其实现的参数。

## 极大似然估计
设总体有分布 $f\left(X ; \theta_1, \cdots, \theta_k\right), X_1, \cdots, X_n$ 为自这总体中抽出的样本, 则样本 $\left(X_1, \cdots, X_n\right)$ 的分布 (即其概率密度函数或概率函数）为

$$
f\left(X_1 ; \theta_1, \cdots, \theta_k\right) f\left(X_2 ; \theta_1, \cdots, \theta_k\right) \cdots f\left(X_n ; \theta_1, \cdots, \theta_k\right)
$$

记之为 $L\left(X_1, \cdots, X_n ; \theta_1, \cdots, \theta_k\right)$ 。
固定 $\theta_1, \cdots, \theta_k$ 而看作是 $X_1, \cdots, X_n$ 的函数时， $L$ 是一个概率密度函数或概率函数，可以这样理解：若 $L\left(Y_1, \cdots, Y_n ; \theta_1, \cdots, \theta_k\right)$ $>L\left(X_1, \cdots, X_n ; \theta_1, \cdots, \theta_k\right)$, 则在观察时出现 $\left(Y_1, \cdots, Y_n\right)$ 这个点的可能性, 要比出现 $\left(X_1, \cdots, X_n\right)$ 这个点的可能性大. 把这件事反过来说，可以这样想：当已观察到 $X_1, \cdots, X_n$ 时，若 $L\left(X_1, \cdots, X_n\right.$ ； $\left.\theta_1^{\prime}, \cdots, \theta_k^{\prime}\right)>L\left(X_1, \cdots, X_n ; \theta_1^{\prime \prime}, \cdots, \theta_k^{\prime \prime}\right)$ ，则被估计的参数 $\left(\theta_1\right.$, $\cdots, \theta_k$ ) 是 $\left(\theta_1^{\prime}, \cdots, \theta_k^{\prime}\right)$ 的可能性，要比它是 $\left(\theta_1^{\prime \prime}, \cdots, \theta_k^{\prime \prime}\right)$ 的可能性大.

当 $X_1, \cdots, X_n$ 固定而把 $L$ 看作 $\theta_1, \cdots, \theta_k$ 的函数时, 它称为 "似然函数". 这名称的意义, 可根据上述分析得到理解: 这函数对不同的 $\left(\theta_1, \cdots, \theta_k\right)$ 的取值，反映了在观察结果 $\left(X_1, \cdots, X_n\right)$ 已知的条件下, $\left(\theta_1, \cdots, \theta_k\right)$ 的各种值的"似然程度".

在 1821 年, 德国数学家高斯针对正态分布首先提出极（最）大似然估计（Maximum Likelihood Estimation, MLE）。英国统计学家费希尔于1922年再次提出了这种想法并证明了它的一些性质，使得最大似然估计法得到了广泛的应用。极大似然估计法只能在已知总体分布的前提下进行

## 例题
下面通过具体例子引入极大似然估计。
`例` 某电商收到供货商提供的一批产品，产品总有合格和不合格两类，我们用一个随机变量 $X$ 表示其品质，

$$
X= \begin{cases}1 & \text { 产品是合格的 } \\ 0 & \text { 产品是不合格的 }\end{cases}
$$

显然 $x$ 服从参数为 $p$ 的 0-1 分布，其中 $p$ 为未知的合格率.现有放回抽取 $n$ 个产品看其是否合格，得到样本观测值 $x_1, x_2, \cdots, x_n$ ，则这批观测值发生的概率为

$$
\begin{aligned}
&P\left(X_1=x_1, \ldots, X_n=x_n ; p\right)=\prod_{i=1}^n p^{x_i}(1-p)^{1-x_i}=p^{\sum_{i=1}^n x_i}(1-p)^{n-\sum_{i=1}^n x_i}
\end{aligned}
$$
其中$p$是未知的.求$p$

解：我们应选择一个 $p$ 的取值，使得上式表示的概率尽可能大，即将上式看作是未知参数 $p$ 的函数，我们用 $L(p)$ 表示，称作为 $p$ 的似然函数，即

$$
L(p)=p^{\sum_{i=1}^n x_i}(1-p)^{n-\sum_{i=1}^n x_i}
$$

对 $L(p)$ 求极大值.由于 $\ln x$ 是 $x$ 的严格递增的上凸函数，因此使对数似然函数 $\ln L(p)$ 达到最大与使 $L(p)$ 达到最大是等价的.故上式两端取对数并关于 $p$ 求导令其等于 0 ，即得如下过程:

$$
\ln L(p)=n \bar{x} \ln p+n(1-\bar{x}) \ln (1-p) \quad \frac{d \ln L(p)}{d p}=\frac{n \bar{x}}{p}-\frac{n(1-\bar{x})}{1-p}=0, \quad p=\bar{x} .
$$

### 极大似然估计的定义

设总体 $X$ 有分布律 $P(X=x ; \theta)$ 或密度函数 $f(x ; \theta)$ （其中 $\theta$ 为一个未知参数或几个未知参数组成的向量 $\left.\theta=\left(\theta_1, \theta_2, \ldots, \theta_k\right)\right)$ ，已知 $\theta \in \Theta$ ， $\Theta$ 是参数空间. $\left(x_1, x_2, \cdots, x_n\right)$ 为取自总体 $x$ 的一个样本 $\left(X_1, X_2, \cdots, X_n\right)$ 的观测值，将样本的联合分布律或联合密度函数看成 6 的函数，用 $L(\theta)$ 表示，又称为 $\theta$ 的**似然函数**，则似然函数

$$
L(\theta)=\prod_{i=1}^n P\left(X_i=x_i ; \theta\right) \text { ，或 } L(\theta)=\prod_{i=1}^n f\left(x_i ; \theta\right)
$$

>  上面公式中$\prod_{i=1}^n$ 表示连乘符号，详见[此处](https://kb.kmath.cn/kbase/detail.aspx?id=1409)

称满足关系式 $L(\hat{\theta})=\max _{\theta \in} L(\theta)$ 的解 $\hat{\theta}$ 为 $\theta$ 的**极大似然估计量.**

当 $\theta=\left(\theta_1, \theta_2, \cdots, \theta_k\right)$ 的似然函数

$$
L(\theta)=L\left(\theta_1, \theta_2, \cdots, \theta_k\right)
$$

### 似然函数取对数

>从似然函数可以看出，他是$L=f(1)*f(2)*f(3)...f(n)$ 这种连乘的形式，这计算起来非常麻烦，所以可以取对出，利用对数的性质把乘法变成加法，即
$ln L=ln(f(1)*f(2)*f(3)...f(n))=ln(f(1))+ln(f(2))...+lnf(n)$
为

因此，当可微函数时，则将似然函数取对数：

$$
\ln L\left(\theta_1, \theta_2, \cdots, \theta_k\right)=\sum_{i=1}^n \ln f\left(x_i, \theta_1, \theta_2, \cdots, \theta_k\right)
$$

建立并求解似然方程组:

$$
\frac{\partial \ln L\left(\theta_1, \theta_2, \cdots, \theta_k\right)}{\partial \theta_i}=0, \quad i=1,2, \cdots, k
$$

一般说来，极大似然估计值可由解对数似然方程得到. 当似然函数不可微时，也可直接寻求使得似然函数达到最大的解来得到极大似然估计值和什计量.

`例`设总体 $X$ 的密度函数为 $f(x)=\left\{\begin{array}{l}\lambda^2 x e^{-\lambda x}, x>0 \\ 0, \text { 其他 }\end{array}\right.$ ，其中 $\lambda(\lambda>0)$ 未知， $\left(X_1, \ldots, X_n\right)$ 是来自总体 $X$ 的一个样本.求 $\lambda$ 的极大似然估计量.

解 似然函数

$$
L(\lambda)=\prod_{i=1}^n f\left(x_i ; \lambda\right)=\lambda^{2 n} \cdot \prod_{i=1}^n x_i \cdot e^{-\lambda \sum_{i=1}^n x_i}
$$

取对数似然函数为

$$
\ln L=2 n \ln \lambda+\sum_{i=1}^n \ln x_i-\lambda \sum_{i=1}^n x_i
$$

对数似然方程为

$$
\frac{d \ln L}{d \lambda}=\frac{2 n}{\lambda}-\sum_{i=1}^n x_i=0
$$

解得

$$
\lambda=\frac{2 n}{\sum_{i=1}^n x_i}=\frac{2}{\frac{1}{n} \sum_{i=1}^n x_i}
$$

故 $\lambda$ 的极大似然估计量为 $\hat{\lambda}=\frac{2}{\bar{X}}$.

`例`设总体 $X \sim N\left(\mu, \sigma^2\right) ，\left(X_1, \cdots, X_n\right)$ 是取自该总体的一个样本，参数 $\mu \in R, \sigma>0$ 未知试求（1） $\mu, \sigma^2$ 的极大似然估计量；（2） $\theta \doteq P(X \geq 2)$ 的极大似然估计量。

解 (1)①写出似然函数

$$
L\left(\mu, \sigma^2\right)=\left(2 \pi \sigma^2\right)^{-\frac{n}{2}} e^{-\frac{1}{2 \sigma^2} \sum_{i=1}^n\left(x_i-\mu\right)^2}-\infty<x_i<+\infty, i=1,2, \cdots, n
$$

②对似然函数取对数:

$$
\ln L\left(\mu, \sigma^2\right)=-\frac{n}{2} \ln 2 \pi-\frac{n}{2} \ln \sigma^2-\frac{1}{2 \sigma^2} \sum_{i=1}^n\left(x_i-\mu\right)^2
$$

③建立似然方程组:

$$
\left\{\begin{array}{l}
\frac{\partial \ln L}{\partial \mu}=\frac{1}{\sigma^2} \sum_{i=1}^n\left(x_i-\mu\right) \hat{=} 0 \\
\frac{\partial \ln L}{\partial \sigma^2}=-\frac{n}{2 \sigma^2}+\frac{1}{2 \sigma^4} \sum_{i=1}^n\left(x_i-\mu\right)^2 \hat{=0}
\end{array}\right.
$$

解方程组得

$$
\left\{\begin{array}{l}
\mu=\frac{1}{n} \sum_{i=1}^n x_i=\bar{x} \\
\sigma^2=\frac{1}{n} \sum_{i=1}^n\left(x_i-\mu\right)^2=\frac{1}{n} \sum_{i=1}^n\left(x_i-\bar{x}\right)^2
\end{array}\right.
$$

④由此即得未知参数的极大似然估计量为
$$
\begin{aligned}
\hat{\mu}=\bar{X}, \hat{\sigma}^2=\frac{1}{n} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2=S_n^2
\end{aligned}
$$

（2）已经求得 $\hat{\mu}=\bar{X}, \hat{\sigma}=S_n$, 又

$$
\theta \hat{=} P(X \geq 2)=1-\Phi\left(\frac{2-\mu}{\sigma}\right)
$$

以 $\hat{\mu}, \hat{\sigma}$ 替代 $\mu, \sigma$ 即得 $\theta$ 的极大似然估计量为

$$
\hat{\theta}=1-\Phi\left(\frac{2-\hat{\mu}}{\hat{\sigma}}\right)=1-\Phi\left(\frac{2-\bar{X}}{S_n}\right)
$$

第（2）问的解题过程用到了极大似然估计的不变性：如果 $\hat{\theta}$ 是 $\theta$ 的极大似然估计，则对任一函数 $g(\theta)$ ，满足当 $\theta \in \Theta$ 时，具有单值反函数，则其极大似然估计为 $g(\hat{\theta})$ 。

> 虽然求导函数是求极大似然估计的最常用的方法(我们称为对数求导法)，但并不是在所有场合对数求导法都是有效的，当似然函数不可微时，也可以直接寻求使得 $L(\theta)$ 达到最大的解来求得极大似然估计量(我们称为直接观察法).

`例`设总体 $X \sim U(0, \theta),\left(X_1, X_2 \cdots, X_n\right)$ 是来自该总体的样本，其中 $\theta>0, \theta$ 未知.求 $\theta$ 的极大似然估计量。

解 样本的似然函数为

$$
L(\theta)=\left\{\begin{array}{lc}
\theta^{-n} & 0<x_i<\theta, i=1,2, \cdots, n \\
0 & \text { 其余 }
\end{array}\right.
$$

当 $0<x_i<\theta(i=1,2, \cdots, n)$ 时，对数似然函数为 $\ln L(\theta)=-n \ln \theta$ ，对数似然方程 $\frac{\partial \ln L(\theta)}{\partial \theta}=-\frac{n}{\theta} \neq 0$

显然无法求解出参数. 于是从原始定义出发讨论，发现
$L(\theta)$ 作为$\theta$ 的函数，具有不连续性，因此只能使用直接观察法，使 $L(\theta)$ 取得最大值来求解。由 $L(\theta)$ 的表达式可知，有 $\sigma$ 越小 $L(\theta)$ 越愈大，又 $\theta \geq \max _{1 \leq 1 \leq n} X_i$ ，故取 $\hat{\theta}=\max _{1 \leq i \leq n} X_i$ 时， $L(\hat{\theta})$ 达到最大值，即 $\theta$ 的极大似然估计量 $\hat{\theta}=\max _{1 \leq 1 \leq n} X_i=X_{( n )}$.

`例` 设某种元件的使用寿命 $x$ 的概率密度为 $f(x ; \theta)=\left\{\begin{array}{ll}2 e ^{-2(x-\theta)} & x>\theta \\ 0 & x \leq \theta\end{array}\right.$ ，其中 $\theta>0$ 为未知参数.又设 $\left(x_1, x_2, \cdots, x_n\right)$ 是取自总体 $X$ 的一组样本 $\left(x_1, \ldots, X_n\right)$ 的观测值，求参数的极大似然估计量.

解 易知似然函数 $L(\theta)=\left\{\begin{array}{cl}2^n \exp \left\{-2 \sum_{i=1}^n\left(x_i-\theta\right)\right\} & \text { 当 } x_{(1)}>\theta \\ 0 & \text { 当 } x_{(1)} \leq \theta\end{array}\right.$ ；其中 $x_{(1)}=\min _{1 \leq i \leq n} x_i$ ，此处与例 9 相似， $L(\theta)$ 在 $\theta=x_{(1)}$ 处不连续，因此只能直接求函数 $L(\theta)$ 的极大值点。注意到 $L(\theta) \geq 0$ ，且当 $\theta<x_{(1)}$ 时， $L(\theta)=2^n \exp \left\{-2 \sum_{i=1}^n\left(x_i-\theta\right)\right\}$ 随 $\theta$ 递增而递增，因而当 $\theta=x_{(1)}$ 时， $L(\theta)$ 达到最大. 所以 $\hat{\theta}=X_{(1)}$ 是 $\theta$ 的极大似然估计.

### (4)写出未知参数的极大似然估计量
$\hat{p} \hat{=} \frac{1}{n} \sum_{i=1}^n X_i=\bar{X}$

性质
设 $\hat{\theta}$ 是未知参数 $\theta$ 的极大似然估计量，则 $g(\theta)$ 的极大似然估计量定义为 $g(\hat{\theta})$ (也是替代的思想).

`例`已知总体 $X$ 的概率函数为
$$
\begin{array} 
X & 0 & 1 & 2 \\
\hline P  & \lambda^2 & 1-\lambda & \lambda(1-\lambda)
\end{array}
$$

其中 $0<\lambda<1, \lambda$ 末知，设 $\left(X_1, X_2, X_3, X_4\right)$ 是取自总体的样本，其观测值 $\left(x_1, x_2, x_3, x_4\right)=(0,1,1,2)$ ，求参数 $\lambda$ 的极大似然估计值.

解 样本观测值的似然函数为

$$
\begin{aligned}
L(\lambda) & =\prod_{i=1}^4 f\left(x_i, \lambda\right)=\prod_{i=1}^4 P\left(X_i=x_i\right) \\
& =P\left(X_1=0\right) P\left(X_2=1\right) P\left(X_3=1\right) P\left(X_4=2\right)=\lambda^3 \cdot(1-\lambda)^3
\end{aligned}
$$

取对数得 $\ln L(\lambda)=3 \ln \lambda+3 \ln (1-\lambda)$ ，求导并建立似然方程，
得 $\frac{3}{\lambda}-\frac{3}{1-\lambda} \hat{=} 0$ ，由此即解得 $\hat{\lambda}=\frac{1}{2}$

## 解法总结

如果随机抽样得到的样本观测值为 $x_1, x_2, \cdots, x_n$, 我们选取未知参数 $\theta$ 的值应使得出现该样本值的可能性最大，即使得似然函数 $L(\theta)$ 取最大值，从而，求参数 $\theta$ 的极大似然估计的问题就转化为求似然函数 $L(\theta)$ 的最大值点的问题，当似然函数关于未知参数可微时，可利用微分学中求最大值的方法求解. 其主要步骤如下:
（1）写出似然函数 $L(\theta)=L\left(\theta ; x_1, x_2, \cdots, x_n\right)$;
（2）令 $\frac{ d L(\theta)}{ d \theta}=0$ 或 $\frac{ d \ln L(\theta)}{ d \theta}=0$ ，求出驻点；
（3）判断并求出最大值点，在最大值点的表达式中，用样本值代入就得参数的最大似然估计值。

注意：（1）因函数 $\ln L(\theta)$ 是 $L(\theta)$ 的单调增加函数，且函数 $\ln L(\theta)$ 与函数 $L(\theta)$ 有相同的极值点，故转化为求函数 $\ln L(\theta)$ 的最大值点较方便。
（2）当似然函数关于未知参数不可微时，只能按最大似然估计法的基本思想及定义求出最大值点。
（3）从最大似然估计的定义可以看出，若 $L(\theta)$ 与联合概率函数相差一个与 $\theta$ 无关的比例因子, 则不会影响最大似然估计, 可以在 $L(\theta)$ 中剔去与 $\theta$ 无关的因子。

上述方法易推广至多个未知参数的情形.

`例` 设 $X \sim b(1, p), X_1, X_2, \cdots, X_n$ 是取自总体 $X$ 的一个样本, 试求参数 $p$ 的最大似然估计。

解 （1）写出似然函数.
设 $x_1, x_2, \cdots, x_n$ 是 $X_1, X_2, \cdots, X_n$ 的一个样本值, $X$ 的分布律为

$$
P\{X=x\}=p^x(1-p)^{1-x}, \quad x=0,1,
$$

故似然函数为

$$
L(p)=\prod_{i=1}^n p^{x_i}(1-p)^{1-x_i}=p^{\sum_{i=1}^n x_i}(1-p)^{n-\sum_{i=1}^n x_i} .
$$

(2) 求出驻点.

令

$$
\frac{d}{d p} \ln L(p)=\left(\sum_{i=1}^n x_i\right) / p-\left(n-\sum_{i=1}^n x_i\right) /(1-p)=0,
$$

解得

$$
\hat{p}=\frac{1}{n} \sum_{i=1}^n x_i=\bar{x} .
$$

（3）即参数 $p$ 的最大似然估计为

$$
\hat{p}=\frac{1}{n} \sum_{i=1}^n X_i=\bar{X} .
$$

`例` 设 $x_1, x_2, \cdots, x_n$ 是正态总体 $N\left(\mu, \sigma^2\right)$ 的样本观察值, 其中 $\mu 、 \sigma^2$ 是未知参数,试求 $\mu$ 和 $\sigma^2$ 的最大似然估计。

解 （1）写出似然函数。
因为 $X \sim N\left(\mu, \sigma^2\right)$ ，其密度函数为

$$
f(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{\left(x_i-\mu\right)^2}{2 \sigma^2}},
$$

所以似然函数为

$$
L\left(\mu, \sigma^2\right)=\prod_{i=1}^n\left(\frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{\left(x_i-\mu\right)^2}{2 \sigma^2}}\right)=(\sqrt{2 \pi})^{-n}\left(\sigma^2\right)^{-n / 2} \exp \left\{-\frac{1}{2 \sigma^2} \sum_{i=1}^n\left(x_1-\mu\right)^2\right\},
$$

对数似然为

$$
\ln L\left(\mu, \sigma^2\right)=-n \ln \sqrt{2 \pi}-\frac{n}{2} \ln \sigma^2-\frac{1}{2 \sigma^2} \sum_{i=1}^n\left(x_1-\mu\right)^2
$$

(2) 求出驻点.

$$
\begin{gathered}
\frac{\partial \ln L}{\partial \mu}=\frac{1}{\sigma^2} \sum_{i=1}^n\left(x_i-\mu\right)=0, \\
\frac{\partial \ln L}{\partial \sigma^2}=\frac{1}{2 \sigma^4} \sum_{i=1}^n\left(x_i-\mu\right)^2-\frac{n}{2 \sigma^2}=0,
\end{gathered}
$$

解得

$$
\begin{aligned}
&\hat{\mu}=\frac{1}{n} \sum_{i=1}^n x_i=\bar{x}, \quad \hat{\sigma}^2=\frac{1}{n} \sum_{i=1}^n\left(x_i-\bar{x}\right)^2 .\\
&\text { （3）即参数 } \mu \text { 和 } \sigma^2 \text { 的最大似然估计分别为 }\\
&\hat{\mu}=\frac{1}{n} \sum_{i=1}^n X_i=\bar{X}, \quad \hat{\sigma}^2=\frac{1}{n} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2 .
\end{aligned}
$$

`例`  设总体 $X$ 服从 $[0, \theta]$ 上的均匀分布, $\theta$ 末知. $X_1, \cdots, X_n$ 为 $X$ 的样本, $x_1, \cdots, x_n$为样本值. 试求 $\theta$ 的最大似然估计.

解 似然函数 $L(\theta)=\left\{\begin{array}{ll}\frac{1}{\theta^n}, & 0 \leqslant x_1, \cdots, x_n \leqslant \theta \\ 0, & \text { 其他 }\end{array}\right.$.
因 $L(\theta)$ 不可导, 可按最大似然法的基本思想确定 $\hat{\theta}$ 。欲使 $L(\theta)$ 最大, $\theta$ 应尽量小但又不能太小, 它必须同时满足 $\theta \geqslant x_i(i=1, \cdots, n)$, 即 $\theta \geqslant \max \left(x_1, \cdots, x_n\right)$, 否则 $L(\theta)=0$, 而 0 不可能是 $L(\theta)$ 的最大值. 因此, 当 $\theta=\max \left\{x_1, \cdots, x_n\right\}$ 时, $L(\theta)$ 可达最大. 所以 $\theta$ 的最大似然估计为 $\hat{\theta}=\max \left\{X_1, \cdots, X_n\right\}$.

刷题

做题，是检验是否掌握数学的唯一真理

上一篇：点估计(矩估计法)

下一篇：无偏性

本文对您是否有用？有用 (0) 无用 (0)