最后更新: 2025-07-14 17:09 查看: 45 次反馈能力测评会员8.2元/月赞助

马尔科夫极限定理

## 马尔科夫极限定理
对于一个系统来说，考虑它的长期的性质是很必要的，本节我们将研究马氏链的极限情况和平稳马氏链的有关性质。首先来看两个例子。

例5．19 设马氏链的转移矩阵为

$$
P=\left(\begin{array}{cc}
1-p & p \\
q & 1-q
\end{array}\right), 0<p, q<1
$$

考虑 $P^{(n)}$ 当 $n \rightarrow \infty$ 时的情况．
解：由 $P^{(n)}=P^n$ 知，只需计算 $P$ 的 $n$ 重乘积的极限。令

$$
Q=\left(\begin{array}{cc}
1 & -p \\
1 & q
\end{array}\right), \quad D=\left(\begin{array}{cc}
1 & 0 \\
0 & 1-p-q
\end{array}\right)
$$

则

$$
Q^{-1}=\left(\begin{array}{cc}
\frac{q}{p+q} & \frac{p}{p+q} \\
-\frac{1}{p+q} & \frac{1}{p+q}
\end{array}\right), \quad P=Q D Q^{-1}
$$

这是 $P$ 的相似变换，其中 $D$ 为对角阵，这使得矩阵的幂的计算化简，有

$$
\begin{aligned}
P^n & =\left(Q D Q^{-1}\right)^n=Q\left(\begin{array}{cc}
1 & 0 \\
0 & 1-p-q
\end{array}\right)^n Q^{-1} \\
& =\left(\begin{array}{ll}
\frac{q+p(1-p-q)^n}{p+q} & \frac{p-p(1-p-q)^n}{p+q} \\
\frac{q-q(1-p-q)^n}{p+q} & \frac{p+q(1-p-q)^n}{p+q}
\end{array}\right) .
\end{aligned}
$$

由于 $|1-p-q|<1, P^n$ 的极限为

$$
\lim _{n \rightarrow \infty} P^n=\left(\begin{array}{cc}
\frac{q}{p+q} & \frac{p}{p+q} \\
\frac{q}{p+q} & \frac{p}{p+q}
\end{array}\right)
$$

可见此马氏链的 $n$ 步转移概率有一个稳定的极限，而且矩阵两行相同，意味着不论初始从哪一个状态出发，时间足够久后两个状态的取值概率分布是固定的。

例5．20 在例5．18中令 $p=\frac{1}{3}$ ，系统为不可约非常返马氏链，有

$$
\lim _{n \rightarrow \infty} p_{00}^{(2 n)}=\lim _{n \rightarrow \infty} \frac{\left(4 \times \frac{1}{3} \times \frac{2}{3}\right)^n}{\sqrt{n \pi}}=0
$$

令 $p=\frac{1}{2}$ ，系统为不可约零常返马氏链，有

$$
\lim _{n \rightarrow \infty} p_{00}^{(2 n)}=\lim _{n \rightarrow \infty} \frac{\left(4 \times \frac{1}{2} \times \frac{1}{2}\right)^n}{\sqrt{n \pi}}=0
$$

$$
\lim _{n \rightarrow \infty} p_{00}^{(2 n)}=\lim _{n \rightarrow \infty} \frac{\left(4 \times \frac{1}{2} \times \frac{1}{2}\right)^n}{\sqrt{n \pi}}=0 .
$$

即从零出发经过无穷次的转移之后，系统在某一规定时刻回到 0 的概率趋于 0 ．
我们容易证明例5．19中所有状态是正常返状态，而例5．20中当 $p=\frac{1}{3}$ 时状态 0 是非常返状态，当 $p=\frac{1}{2}$ 时， 0 是零常返状态。那么两个例子给出的是不是一般结论呢？答案是肯定的，我们不加证明地引入马氏链的一个基本极限定理．

定理5．7 若状态 $i$ 是周期为 $d$ 的常返状态，则

$$
\lim _{n \rightarrow \infty} p_{i i}^{(n d)}=\frac{d}{\mu_i}
$$

这样，若 $i$ 为正常返状态，极限为正值；若 $i$ 为零常返状态，极限等于 0 ．
另外，如果 $i$ 是非常返状态，由推论5．4，

$$
\lim _{n \rightarrow \infty} p_{j i}^{(n)}=0, \forall j \in S
$$

证明见（林元烈 2002）P．96定理3．3．6。
注1：$\mu_i$ 表示常返状态 $i$ 的平均返回时间。
推论5．7 设 $i$ 为常返状态，则

$$
i \text { 为零常返状态 } \Longleftrightarrow \lim _{n \rightarrow \infty} p_{i i}^{(n)}=0 \text {. }
$$

证明：若 $i$ 为零常返状态，则 $\mu_i=\infty$ ，从而 $\lim _{n \rightarrow \infty} p_{i i}^{(n d)}=0$ ．而当 $m$ 不是 $d$ 的整数倍时，$p_{i i}^{(m)}=0$ ，故 $\lim _{n \rightarrow \infty} p_{i i}^{(n)}=0$ ．
另一方面，若 $\lim _{n \rightarrow \infty} p_{i i}^{(n)}=0$ ，如果 $i$ 为正常返状态，则 $\mu_i<\infty$ ，由定理5．7知 $\lim _{n \

免费注册查看余下70%

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

高等数学测评 函数与极限一元函数微分学一元函数积分学微分方程空间向量与代数多元微分学多元积分学无穷级数

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

线性代数测评 行列式矩阵向量空间

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

概率统计测评 事件与概率一维随机变量与事件多维随机变量与事件随机变量的数字特征大数定律与中心极限定理统计量与抽样分布参数估计假设检验

上一篇：状态的分类及性质

下一篇：平稳分布

本文对您是否有用？有用 (0) 无用 (0)