最后更新: 2025-07-14 06:09 查看: 101 次反馈能力测评会员8.2元/月赞助

马尔科夫链(马氏链)基本概念

## 5.1 基本概念
有一类随机过程， 它具备所谓的“无后效性”(马氏性)， 即要确定过程将来的状态， 知道它此刻的情况就足够了， 并不需要对它以往状况的认识， 这类过程称为Markov过程. 我们将介绍Markov过程中最简单的两种类型： 离散时间的马氏链(简称马氏链)及连续时间的马氏链.

## 5．1．1 定义和例子

定义5．1随机过程 $\left\{X_n, n=0,1,2, \ldots\right\}$ 称为马氏链（Markov chain），若它只取有限或可列个值（若不另外说明，以非负整数集 $\{0,1,2, \ldots\}$ 来表示），并且对任意的 $n \geq 0$ ，及任意状态 $i, j, i_0, i_1, \ldots, i_{n-1}$ ，有

$$
P\left\{X_{n+1}=j \mid X_0=i_0, X_1=i_1, \ldots, X_{n-1}=i_{n-1}, X_n=i\right\}=P\left\{X_{n+1}=j \mid X_n=i\right\}
$$

其中 $X_n=i$ 表示过程在时刻 $n$ 处于状态 $i$ ，称 $\{0,1,2, \ldots\}$ 为该过程的状态空间，记为 $S$ ．式（5．1）刻画了马氏链的特性，称为马氏性。

条件独立性：设 $A, B, C$ 为随机事件，若 $P(B C)>0$ ，则

$$
P(A \mid B C)=P(A \mid B)
$$

等价于

$$
P(A C \mid B)=P(A \mid B) P(C \mid B)
$$

这时称给定 $B$ 的条件下 $A$ 和 $C$ 相互独立。集合函数 $P_B(A)=P(A \mid B)(A \in F )$ 是一个概率测度，也有乘积公式、全概率公式等性质。

对随机变量 $X, Y, Z$ ，若

$$
P(X \leq x, Y \leq y \mid Z=z)=P(X \leq x \mid Z=z) P(Y \leq y \mid Z=z)
$$

则称 $X$ 和 $Y$ 在给定 $Z$ 的条件下独立。 $X, Y, Z$ 都服从离散分布时，条件独立性等价于

$$
P(X=x, Y=y \mid Z=z)=P(X=x \mid Z=z) P(Y=y \mid Z=z)
$$

条件（5．1）等价于 $X_{n+1}$ 和 $X_0, \ldots, X_{n-1}$ 在给定 $X_n$ 的条件下条件独立。
定义5．2 称（5．1）式中的条件概率 $P\left\{X_{n+1}=j \mid X_n=i\right\}$ 为马氏链 $\left\{X_n, n=0,1,2, \ldots\right\}$ 的一步转移概率，简称为转移概率．

一般情况下，转移概率与状态 $i, j$ 和时刻 $n$ 有关。
定义5．3 当马氏链的一步转移概率 $P\left\{X_{n+1}=j \mid X_n=i\right\}$ 只与状态 $i, j$ 有关，而与 $n$ 无关时，称此马区链为时齐马氏链（homogeneous），记 $P\left\{X_{n+1}=j \mid X_n=i\right\}=p_{i j}$ ，代表处于状态 $i$ 的过程下一步转移到状态 $j$的概率．若 $P\left\{X_{n+1}=j \mid X_n=i\right\}$ 与 $n$ 有关，就称该马氏链为非时齐的．

在本书中，我们只讨论时齐马氏链，并且简称为马氏链．
当马氏链的状态为有限时，称为有限链，否则称为无限链。但无论状态有限还是无限，我们都可以将 $p_{i j}(i, j \in S)$ 排成一个矩阵的形式。

$$
P=\left(p_{i j}\right)=\left(\begin{array}{cccc}
p_{00} & p_{01} & p_{02} & \cdots \\
p_{10} & p_{11} & p_{12} & \cdots \\
p_{20} & p_{21} & p_{22} & \cdots \\
\vdots & \vdots & \vdots & \ddots
\end{array}\right)
$$

称 $P$ 为转移概率矩阵，一般简称为转移矩阵。由于概率是非负的，且过程必须转移到某个状态，所以容易看出 $p_{i j}(i, j \in S)$ 有性质

$$
\begin{aligned}
& \text { (1) } p_{i j} \geq 0, i, j \in S \\
& \text { (2) } \sum_{j \in S} p_{i j}=1, \forall i \in S
\end{aligned}
$$

定义5．4 称矩阵为随机矩阵，若矩阵元素具有（5．2）式中两条性质。
易见随机矩阵每一行元素的和都为1．
例5．1（一个简单的疾病、死亡模型，Fix－Neyman）考虑一个包含两个健康状态 $S_1, S_2$ 以及两个死亡状态 $S_3, S_4$（即由不同原因引起的死亡）的模型。若个体病愈，则认为它处于状态 $S_1$ ，若患病，说处于 $S_2$ ，个体可以从 $S_1, S_2$ 进入 $S_3$ 和 $S_4$ ，易见这是一个马氏链的模型，转移矩阵为

$$
P=\left(\begin{array}{cccc}
p_{11} & p_{12} & p_{13} & p_{14} \\
p_{21} & p_{22} & p_{23} & p_{24} \\
0 & 0 & 1 & 0 \\
0 & 0 & 0 & 1
\end{array}\right)
$$

$S_3$ 和 $S_4$ 这样的状态称为吸收态。
例 5.2 （赌徒的破产或称带吸收壁的随机游动）系统的状态是 $0 \sim n$ ，反映赌博者在赌博期间拥有的钱数，当他输光或拥有钱数为 $n$ 时，赌博停止，否则他将持续赌博。每次以概率 $p$ 赢得 1 ，以概率 $q=1-p$ 输掉 1 。这个系统的转移矩阵为

$$
P=\left(\begin{array}{cccccccc}
1 & 0 & 0 & 0 & \cdots & 0 & 0 & 0 \\
q & 0 & p & 0 & \cdots & 0 & 0 & 0 \\
0 & q & 0 & p & \cdots & 0 & 0 & 0 \\
. & . & . & . & . & . & . & . \\
0 & 0 & 0 & 0 & \cdots & q & 0 & p \\
0 & 0 & 0 & 0 & \cdots & 0 & 0 & 1
\end{array}\right)_{(n+1) \times(n+1)}
$$

状态 0 和状态 $n$ 是吸收态。
例5．3（带反射壁的随机游动）设上例中当赌博者输光时将获得赞助 1 让他继续赌下去，就如同一个在直线上做随机游动的球在到达左侧 0 点处就立刻反弹回 1 —样，这就是一个一侧带有反射壁的随机游动．此时转移矩阵为

$$
P=\left(\begin{array}{cccccccc}
0 & 1 & 0 & 0 & \cdot & 0 & 0 & 0 \\
q & 0 & p & 0 & \cdots & 0 & 0 & 0 \\
0 & q & 0 & p & \cdots & 0 & 0 & 0 \\
\vdots & \vdots & \vdots & \vdots & & \vdots & \vdots & \vdots \\
0 & 0 & 0 & 0

免费注册查看余下70%

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

高等数学测评 函数与极限一元函数微分学一元函数积分学微分方程空间向量与代数多元微分学多元积分学无穷级数

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

线性代数测评 行列式矩阵向量空间

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

概率统计测评 事件与概率一维随机变量与事件多维随机变量与事件随机变量的数字特征大数定律与中心极限定理统计量与抽样分布参数估计假设检验

上一篇：没有了

下一篇：多步转移概率与C-K方程

本文对您是否有用？有用 (0) 无用 (0)