科数网知识库
首页
目录
极大似然估计
日期:
2023-01-03 14:20
查看:
57
次
例5 设一箱子中装有黑和白两种颜色的球，其中一种颜色的球有 99 个，另一种颜色的 球只有 1 个. 但是不知道那个颜色的球是只有 1 个.我们随机地从这个箱子里有放回地取 2 个球，结果取得的都是白球，问这个箱子中那个颜色的球只有 1 个? 解 不妨设箱子中白球的比例为 $p$ ，事实上 $p$ 的取值就是两种可能，即 $p=0.01$ 或 $p=0.99$ ，不 管是哪种可能，从箱子中任取 2 个球都是白球这个事件都是可能发生的. 但是 若 $p=0.01$ 时，则取得的都是白球的概率为 $p^2=0.01^2$ ； 若 $p=0.99$ 时，则取得的都是白球的概率为 $p^2=0.99^2$. 这个计算结果表明，在 $p=0.99$ 时，则取得的 2 个球都是白球的概率大，这说明箱子中白球有 99 个，黑球只有 1 个的可能性大，即推断 $\hat{p}=0.99$.   设总体 $X$ 有分布律 $P(X=x ; \theta)$ 或密度函数 $f(x ; \theta)$ (其中 $\theta$ 为一个末知参数或几 个末知参数组成的向量 $\left.\theta=\left(\theta_1, \theta_2, \ldots, \theta_k\right)\right)$ ，已知 $\theta \in \Theta ， \Theta$ 是参数空间. $\left(x_1, x_2, \cdots, x_n\right)$ 为 取自总体 $x$ 的一个样本 $\left(X_1, X_2, \cdots, X_n\right)$ 的观测值, 将样本的联合分布律或联合密度函 数看成 6 的函数，用 $L(\theta)$ 表示，又称为 $\theta$ 的似然函数，则似然函数 $$ L(\theta)=\prod_{i=1}^n P\left(X_i=x_i ; \theta\right) \text { ，或 } L(\theta)=\prod_{i=1}^n f\left(x_i ; \theta\right) $$ 称满足关系式 $L(\hat{\theta})=\max _{\theta \in \Theta} L(\theta)$ 的解 $\hat{\theta}$ 为 $\theta$ 的极大似然估计量. 当 $\theta=\left(\theta_1, \theta_2, \cdots, \theta_k\right)$ 的似然函数 $$ L(\theta)=L\left(\theta_1, \theta_2, \cdots, \theta_k\right) $$ 为可微函数时，则将似然函数取对数: $$ \ln L\left(\theta_1, \theta_2, \cdots, \theta_k\right)=\sum_{i=1}^n \ln f\left(x_i, \theta_1, \theta_2, \cdots, \theta_k\right) $$ 建立并求解似然方程组: $$ \frac{\partial \ln L\left(\theta_1, \theta_2, \cdots, \theta_k\right)}{\partial \theta_i}=0, \quad i=1,2, \cdots, k . $$ 一般说来，极大似然估计值可由解对数似然方程得到. 当似然函数不可微时，也 可直接寻求使得似然函数达到最大的解来得到极大似然估计值和估计量.       虽然求导函数是求极大似然估计的最常用的方法(我们称为对数求导法)，但并不是 在所有场合对数求导法都是有效的，当似然函数不可微时，也可以直接寻求使得 $L(\theta)$ 达 到最大的解来求得极大似然估计量(我们称为直接观察法). 例9 设总体 $X \sim U(0, \theta),\left(X_1, X_2 \cdots, X_n\right)$ 是来自该总体的样本，其中 $\theta>0, \theta$ 末知. 求 $\theta$ 的极大似然估计量. 解 样本的似然函数为 $$ L(\theta)=\left\{\begin{array}{lc} \theta^{-n} & 0<x_i<\theta, i=1,2, \cdots, n \\ 0 & \text { 其余 } \end{array}\right. $$ 当 $0<x_i<\theta(i=1,2, \cdots, n)$ 时，对数似然函数为 $$ \ln L(\theta)=-n \ln \theta \text { ，对数似然方程 } \frac{\partial \ln L(\theta)}{\partial \theta}=-\frac{n}{\theta} \neq 0 $$ 显然无法求解出参数. 于是从原始定义出发讨论，发现      设总体的分布为 $f\left(x ; \theta_1, \theta_2, \cdots, \theta_k\right)$ ，其中 $\theta_i$ 为末知参数 $\left(x_1, x_2, \cdots, x_n\right)$ 为样本观测值， 则求 $\theta_i$ 的极大似然估计值 $\hat{\theta}_i(i=1,2, \cdots, k)$ 的过程如下: (1) 写出似然函数 $$ L=L\left(\theta_1, \theta_2, \cdots, \theta_k\right) \hat{=} \prod_{i=1}^n f\left(x_i, \theta_1, \theta_2, \cdots, \theta_k\right) . $$ (2) 称满足关系式 $$ L\left(\hat{\theta}_1, \hat{\theta}_2, \cdots, \hat{\theta}_k\right)=\max \left\{L\left(\theta_1, \theta_2, \cdots, \theta_k\right)\right\} \text { 的解 } \hat{\theta}_i\left(x_1, x_2, \cdots, x_n\right) \text { 为 } \theta_i $$ 的极大似然估计值，而 $\hat{\theta}_i\left(X_1, X_2, \cdots, X_n\right)$ 为 $\theta_i$ 的极大似然估计量.如果是 $\theta_i$ 的 可微函数，则将似然函数 $$ L\left(\theta_1, \theta_2, \cdots, \theta_k\right) $$ 取对数: $$ \ln L\left(\theta_1, \theta_2, \cdots, \theta_k\right)=\sum_{i=1}^n \ln f\left(x_i, \theta_1, \theta_2, \cdots, \theta_k\right) $$ 建立并求解似然方程组: $$ \frac{\partial \ln L\left(\theta_1, \theta_2, \cdots, \theta_k\right)}{\partial \theta_i}=0, \quad i=1,2, \cdots, k . $$ 一般说来，极大似然估计值可由解对数似然方程得到. 似然函数不可微时，也可直接 寻求使得似然函数达到最大的解来得到极大似然估计值和估计量. 极大似然估计求解 似然函数 对数似然求导法 直接法
本系统使用
启明星知识库Kbase
搭建，最后更新于
2023-01-03 14:20
，如果您有意见或建议请点击
反馈
。