最后更新: 2025-08-16 15:37 查看: 288 次纠错评论(0) 课件开VIP

马尔科夫链

### 马尔可夫链

马尔可夫链是随机过程 这门课程中的一部分，简单来说，随机过程就是使用统计模型一些事物的过程进行预测和处理 ，比如股价预测通过今天股票的涨跌，去预测明天后天股票的涨跌；天气预报通过今天是否下雨，预测明天后天是否下雨。这些过程都是可以通过数学公式进行量化计算的。通过下雨、股票涨跌的概率，用公式就可以推导出来 N 天后的状况。

俄国数学家 Andrey Andreyevich Markov 研究并提出一个用数学方法就能解释自然变化的一般规律模型，被命名为马尔科夫链（Markov Chain）。马尔科夫链为状态空间中经过从一个状态到另一个状态的转换的随机过程，该过程要求具备 "无记忆性"，即下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的 "无记忆性"称作马尔可夫性质。

马尔科夫链认为过去所有的信息都被保存在了现在的状态下了 。比如这样一串数列 $1 - 2 - 3 - 4 - 5 - 6$，在马尔科夫链看来，$6$ 的状态只与 $5$ 有关，与前面的其它过程无关。

## 数学定义

> **马尔科夫链是研究生类课程，属于《随机数学》的专业课程，请点击 [随机数学](https://kb.kmath.cn/kbase/detail.aspx?id=3237) 进行查看**

则假设我们的序列状态是... $X_{t-2}, X_{t-1}, X_t, X_{t+1} \ldots$ ，那么在 $X_{t+1}$ 时刻的状态的条件概率仅依赖于前一刻的状态 $X_t$ ，即：

$$
P\left(X_{t+1} \mid \ldots X_{t-2}, X_{t-1}, X_t\right)=P\left(X_{t+1} \mid X_t\right)
$$

既然某一时刻状态转移的概率只依赖于它的前一个状态，那么我们只要能求出系统中任意两个状态之间的转换概率，这个马尔科夫链的模型就定了。

### 转移概率矩阵
通过马尔科夫链的模型转换，我们可以将事件的状态转换成概率矩阵 （又称状态分布矩阵 ），如下例：
 ![图片](/uploads/2024-10/4b0f86.jpg)
 
 上图中有 $A$ 和 $B$ 两个状态， $A$ 到 $A$ 的概率是 $0.3 ， A$ 到 $B$ 的概率是 $0.7$ ； $B$ 到 $B$ 的概率是 $0.1$ ， $B$到 $A$ 的概率是 $0.9$ 。
- 初始状态在 A ，如果我们求 2 次运动后状态还在 A 的概率是多少？非常简单：

$$
P=A \rightarrow A \rightarrow A+A \rightarrow B \rightarrow A=0.3 * 0.3+0.7 * 0.9=0.72
$$

- 如果求 2 次运动后的状态概率分别是多少? 初始状态和终止状态未知时怎么办呢? 这是就要引入转移概率矩阵，可以非常直观的描述所有的概率。

$$
P=\left(\begin{array}{ccc} 
& A & B \\
A & 0.3 & 0.7 \\
B & 0.9 & 0.1
\end{array}\right)
$$

两次运动后

$$
\begin{aligned}
P & =\left(\begin{array}{ccc}
A & B \\
A & 0.3 & 0.7 \\
B & 0.9 & 0.1
\end{array}\right)\left(\begin{array}{ccc}
A & B \\
A & 0.3 & 0.7 \\
B & 0.9 & 0.1
\end{array}\right) \\
& =\left(\begin{array}{ccc}
A & B \\
A & 0.3 * 0.3+0.7 * 0.9 & 0.3 * 0.7+0.7 * 0.1 \\
B & 0.9 * 0.3+0.1 * 0.9 & 0.9 * 0.7+0.1 * 0.1
\end{array}\right) \\
& =\left(\begin{array}{ccc}
A & B \\
A & 0.72 & 0.28 \\
B & 0.36 & 0.64
\end{array}\right)
\end{aligned}
$$

有了状态矩阵，我们可以轻松得出以下结论:
- 初始状态 A， 2 次运动后状态为 A 的概率是 0.72；
- 初始状态 A， 2 次运动后状态为 $B$ 的概率是 0.28 ;
- 初始状态 $B, 2$ 次运动后状态为 $A$ 的概率是 0.36 ;
- 初始状态 $B, 2$ 次运动后状态为 $B$ 的概率是 0.64 ；
- 有了概率矩阵，即便求运动 n 次后的各种概率，也能非常方便求出。

`例`假设明天下不下雨只取决于今天是否下雨, 进一步假设如果今天下雨, 则明天也下雨的概率为 $\alpha$, 如果今天不下雨, 则明天下雨的概率为 $\beta$.

如果我们称下雨为状态 0 , 不下雨为状态 1 , 则上述天气系统成为一个两个状态的马尔可夫链, 其转移概率矩阵为

$$
\left\|\begin{array}{ll}
\alpha & 1-\alpha \\
\beta & 1-\beta
\end{array}\right\|
$$
即 $P_{00}=\alpha=1-P_{01}, P_{10}=\beta=1-P_{11}$.

`例`考虑一个赌徒，他在每次赌博中以概率 $p$ 赢一个单位且以概率 $1-p$ 输一个单位. 假设当赌徒的赌本为 0 或 $M$ 时, 他就停止赌博. 那么, 赌徒的赌本是一个马尔可夫链，其转移概率为

$$
\begin{aligned}
P_{i, i+1} & =p=1-P_{i, i-1} \quad i=1, \cdots, M-1 \\
P_{00} & =P_{M M}=1
\end{aligned}
$$

`例`一对物理学家夫妇 Paul 和 Tatyana Ehrenfest 提出了一个分子运动的理论模型:设有两个坛子, 里面共有 $M$ 个分子, 每一次随机地选择一个分子, 把它从原来的坛子移向另一个坛子. 令 $X_n$ 表示第 1 个坛子经过 $n$ 次转移以后的分子的个数, 则 $\left\{X_0, X_1, \cdots\right\}$ 是一个马尔可夫链, 其转移概率为

$$
\begin{aligned}
P_{i, i+1} & =\frac{M-i}{M} & & 0 \leqslant i \leqslant M \\
P_{i, i-1} & =\frac{i}{M} & & 0 \leqslant i \leqslant M \\
P_{i j} & =0 & & \text { 若 } j=i \text { 或 }|j-i|>1
\end{aligned}
$$
因此, 对于马尔可夫链, $P_{i j}$ 表示由状态 $i$ 转人 $j$ 的概率, 我们也可以定义两步转移的概率 $P_{i j}^2$, 它等于一个系统原来在状态 $i$, 经过两步转移以后到达状态 $j$ 的概率. 即

$$
P_{i j}^2=P\left\{X_{m+2}=j \mid X_m=i\right\}
$$

$P_{i j}^2$ 可以由 $P_{i j}$ 经过下列方式计算得到：

$$
\begin{aligned}
P_{i j}^2 & =P\left\{X_2=j \mid X_0=i\right\}=\sum_{k=0}^M P\left\{X_2=j, X_1=k \mid X_0=i\right\} \\
& =\sum_{k=0}^M P\left\{X_2=j \mid X_1=k, X_0=i\right\} P\left\{X_1=k \mid X_0=i\right\}=\sum_{k=0}^M P_{k j} P_{i k}
\end{aligned}
$$

一般情况下, 定义 $n$ 步转移概率 $P_{i j}^n$ 为,

$$
P_{i j}^n=P\left\{X_{n+m}=j \mid X_m=i\right\}
$$

### 查普曼-科尔莫戈罗夫方程
下面的命题被称为查普曼-科尔莫戈罗夫方程, 它为我们提供了计算 $P_{i j}^n$ 的一种方法.
 查普曼-科尔莫戈罗夫方程

$$
P_{i j}^n=\sum_{k=0}^M P_{i k}^r P_{k j}^{n-r} \quad \text { 对所有 } 0 < r < n
$$

证明
$$
\begin{aligned}
P_{i j}^n & =P\left\{X_n=j \mid X_0=i\right\}=\sum_k P\left\{X_n=j, X_r=k \mid X_0=i\right\} \\
& =\sum_k P\left\{X_n=j \mid X_r=k, X_0=i\right\} P\left\{X_r=k \mid X_0=i\right\}=\sum_k P_{k j}^{n-r} P_{i k}^r
\end{aligned}
$$

科数题库(单机版) 会议室预约系统(book)

今日还可看 0 篇未注册用户每天查看4篇，注册用户每天8篇，开通VIP会员无限制查看。

免费注册

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

上一篇：随机过程

下一篇：递推关系与种群动力学

本文对您是否有用？有用 (0) 无用 (0)