最后更新: 2025-07-14 16:54 查看: 32 次反馈能力测评会员8.2元/月赞助

状态的分类及性质

## 状态的分类及性质
本节我们首先来讨论一下马氏链各个状态之间的关系，并以这些关系将状态分类，最后来研究它们的性质．
定义5．6（互通）称状态 $i$ 可达状态 $j\left(i, j \in S\right.$ ），若存在 $n \geq 0$ 使得 $p_{i j}^{(n)}>0$ ，记为 $i \rightarrow j$ ．若同时有 $j \rightarrow i$ ，则称 $i$ 与 $j$ 互通，记为 $i \leftrightarrow j$ 。

注：定义中之所以用 $n \geq 0$ 而不是 $n>0$ ，是为了包含 $i=j$ 时 $p_{i i}^{(0)}=1>0$ 的情况，从而状态 $i$ 与自身是互通的。

定理5．3 互通是一种等价关系，即满足：
1．自返性：$i \leftrightarrow i$ ；
2．对称性：$i \leftrightarrow j$ ，则 $j \leftrightarrow i$ ；
3．传递性：$i \leftrightarrow j, j \leftrightarrow k$ ，则 $i \leftrightarrow k$ ．
证明：从互通的定义可知1、2是显然的，只证3．
由互通定义可知需证 $i \rightarrow k$ 且 $k \rightarrow j$ 。首先，由 $i \rightarrow j, j \rightarrow k$ 知道存在 $m, n \geq 0$ ，使得 $p_{i j}^{(m)}>0$ ， $p_{j k}^{(n)}>0$ ．再由C－K方程知道

由互通定义可知需证 $i \rightarrow k$ 且 $k \rightarrow j$ ．首先，由 $i \rightarrow j, j \rightarrow k$ 知道存在 $m, n \geq 0$ ，使得 $p_{i j}^{(m)}>0$ ， $p_{j k}^{(n)}>0$ ．再由C－K方程知道

$$
p_{i k}^{(m+n)}=\sum_{l \in S} p_{i l}^{(m)} p_{l k}^{(n)} \geq p_{i j}^{(m)} p_{j k}^{(n)}>0
$$

故 $i \rightarrow k$ ．同理可证 $k \rightarrow i$ ，即有 $i \leftrightarrow k$ ．
我们把任何两个互通状态归为一类，由上述定理可知，同在一类的状态应该都是互通的，并且任何一个状态不能同时属于两个不同的类。

定义5．7若马氏链只存在一个类，就称它是不可约的（irreducible）；否则称为可约的（reducible）．

![图片](/uploads/2025-07/b40837.jpg)
 
 图5．2：图上的简单随机游动
例5．14 我们来看例5．1中疾病死亡模型的四个状态之间的关系。为清楚起见，经常以图5．2所示的转移图来表示马氏链的状态变化。由转移矩阵容易看出：$S_1$ 和 $S_2$ 互通，$S_1$ 和 $S_2$ 可达 $S_3$ 和 $S_4$ ，但 $S_3$ 和 $S_4$ 不可达除本身以外的其它状态。状态可分为三类 $\left\{S_1, S_2\right\},\left\{S_3\right\}$ 和 $\left\{S_4\right\}$ ．称 $S_3$ 和 $S_4$ 为吸收态，这样的状态 $i$ 满足

$$
p_{i i}^{(n)}=1, n=0,1,2, \ldots
$$

读者可用类似的方法来说明赌徒输光问题（例5．2）中任何两个状态 $i, j(0<i, j<n)$ 都互通，并可将所有状态分为三类：$\{0\},\{1,2, \cdots, n-1\},\{n\}$ ．

下面我们给出状态的一些性质，然后证明同在一类的状态具有相同的性质．
定义5．8（周期）若集合 $\left\{n: n \geq 1, p_{i i}^{(n)}>0\right\}$ 非空，则称它的最大公约数 $d=d(i)$ 为状态 $i$ 的周期．若 $d>1$ ，称 $i$ 是周期的；若 $d=1$ ，称 $i$ 是非周期的．并特别规定上述集合为空集时，称 $i$ 的周期为无穷大．

注1：周期无穷大的状态 $i$ ，是在这个状态下一步必然离开而且永不返回的状态，是吸收态的一个反面。
注2：由定义5．8知道，即使 $i$ 有周期 $d$ ，但并不是对所有的 $n, p_{i i}^{(n d)}$ 都大于 0 。例如，设集合 $\left\{n: n \geq 1, p_{i i}^{(n)}>0\right\}$ 为 $\{3,9,18,21, \ldots\}$ ，则最大公约数 $d=3$ ，即 3 是 $i$ 的周期，显然， $n=6,12,15$ 都不属于此集合，即 $p_{i i}^{(6)}=0, p_{i i}^{(12)}=0, p_{i i}^{(15)}=0$ 。类似地，若非周期，即 $d=1$ ，也不一定有 $p_{i i}>0$ ，如果 $p_{i i}=0, ~ p_{i i}^{(2)}>0, ~ p_{i i}^{(3)}>0$ ，则最大公约数也是 1 。但是可以证明，当 n 充分大之后一定有 $p_{i i}^{(d n)}>0$ ．

![图片](/uploads/2025-07/7a36e4.jpg)
 
 图5．3：状态分类
例5．15 考察如图5．3所示的马氏链。
由状态1出发再回到状态1的可能步长为 $T=\{4,6,8,10, \ldots\}$ ，它的最大公约数是 2 ，虽然从状态 1 出发 2 步并不能回到状态 1 ，我们仍然称 2 是状态 1 的周期．

定理5．4 若状态 $i, j$ 同属一类，则 $d(i)=d(j)$ ．
证明：由类的定义知 $i \leftrightarrow j$ ，即存在 $m, n \geq 0$ ，使 $p_{i j}^{(m)}>0, p_{j i}^{(n)}>0$ ，则

$$
p_{i i}^{(m+n)}=\sum_{k \in S} p_{i k}^{(m)} p_{k i}^{(n)} \geq p_{i j}^{(m)} p_{j i}^{(n)}>0
$$

对所有使得 $p_{j j}^{(s)}>0$ 的 $s$ ，有 $p_{i i}^{(n+s+m)} \geq p_{i j}^{(m)} p_{j j}^{(s)} p_{j i}^{(n)}>0$ ．显然 $d(i)$ 应同时整除 $n+m$ 和 $n+m+s$ ，则它必定整除 $s$ 。而 $d(j)$ 是 $j$ 的周期，所以也有 $d(i)$ 整除 $d(j)$ 。反过来也可证明 $d(j)$ 整除 $d(i)$ ，于是 $d(i)=d(j)$ 。

定义5．9（首达概率）对于任何状态 $i, j$ ，以 $f_{i j}^{(n)}$ 记从 $i$ 出发经 $n$ 步后首次到达 $j$ 的概率，记

$$
\begin{aligned}
& f_{i j}^{(n)}=P\left\{X_n=j, X_k \neq j, k=1,2, \ldots, n-1 \mid X_0=i\right\}, n \geq 1, \\
& f_{i j}^{(0)}=\delta_{i-j}= \begin{cases}1, & i=j \\
0, & i \neq j .\end{cases}
\end{aligned}
$$

令

$$
f_{i j}=\sum_{n=1}^{\infty} f_{i j}^{(n)}
$$

注：$f_{i j}$ 是从 $i$ 出发经过有限步可达状态 $j$ 的概率。 $i \rightarrow j$ 当且仅当 $f_{i j}>0$ 。
定义5．10（常返状态）若 $f_{j j}=1$ ，称状态 $j$ 为常返状态（recu

免费注册查看余下70%

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

高等数学测评 函数与极限一元函数微分学一元函数积分学微分方程空间向量与代数多元微分学多元积分学无穷级数

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

线性代数测评 行列式矩阵向量空间

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

概率统计测评 事件与概率一维随机变量与事件多维随机变量与事件随机变量的数字特征大数定律与中心极限定理统计量与抽样分布参数估计假设检验

上一篇：多步转移概率与C-K方程

下一篇：马尔科夫极限定理

本文对您是否有用？有用 (0) 无用 (0)