最后更新: 2025-08-16 15:37 查看: 242 次反馈能力测评会员8.2元/月赞助

马尔科夫链

### 马尔可夫链

马尔可夫链是随机过程 这门课程中的一部分，简单来说，随机过程就是使用统计模型一些事物的过程进行预测和处理 ，比如股价预测通过今天股票的涨跌，去预测明天后天股票的涨跌；天气预报通过今天是否下雨，预测明天后天是否下雨。这些过程都是可以通过数学公式进行量化计算的。通过下雨、股票涨跌的概率，用公式就可以推导出来 N 天后的状况。

俄国数学家 Andrey Andreyevich Markov 研究并提出一个用数学方法就能解释自然变化的一般规律模型，被命名为马尔科夫链（Markov Chain）。马尔科夫链为状态空间中经过从一个状态到另一个状态的转换的随机过程，该过程要求具备 "无记忆性"，即下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的 "无记忆性"称作马尔可夫性质。

马尔科夫链认为过去所有的信息都被保存在了现在的状态下了 。比如这样一串数列 $1 - 2 - 3 - 4 - 5 - 6$，在马尔科夫链看来，$6$ 的状态只与 $5$ 有关，与前面的其它过程无关。

## 数学定义

> **马尔科夫链是研究生类课程，属于《随机数学》的专业课程，请点击 [随机数学](https://kb.kmath.cn/kbase/detail.aspx?id=3237) 进行查看**

则假设我们的序列状态是... $X_{t-2}, X_{t-1}, X_t, X_{t+1} \ldots$ ，那么在 $X_{t+1}$ 时刻的状态的条件概率仅依赖于前一刻的状态 $X_t$ ，即：

$$
P\left(X_{t+1} \mid \ldots X_{t-2}, X_{t-1}, X_t\right)=P\left(X_{t+1} \mid X_t\right)
$$

既然某一时刻状态转移的概率只依赖于它的前一个状态，那么我们只要能求出系统中任意两个状态之间的转换概率，这个马尔科夫链的模型就定了。

### 转移概率矩阵
通过马尔科夫链的模型转换，我们可以将事件的状态转换成概率矩阵 （又称状态分布矩阵 ），如下例：
 ![图片](/uploads/2024-10/4b0f86.jpg)
 
 上图中有 $A$ 和 $B$ 两个状态， $A$ 到 $A$ 的概率是 $0.3 ， A$ 到 $B$ 的概率是 $0.7$ ； $B$ 到 $B$ 的概率是 $0.1$ ， $B$到 $A$ 的概率是 $0.9$ 。
- 初始状态在 A ，如果我们求 2 次运动后状态还在 A 的概率是多少？非常简单：

$$
P=A \rightarrow A \rightarrow A+A \rightarrow B \rightarrow A=0.3 * 0.3+0.7

免费注册查看余下70%

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

高等数学测评 函数与极限一元函数微分学一元函数积分学微分方程空间向量与代数多元微分学多元积分学无穷级数

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

线性代数测评 行列式矩阵向量空间

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

概率统计测评 事件与概率一维随机变量与事件多维随机变量与事件随机变量的数字特征大数定律与中心极限定理统计量与抽样分布参数估计假设检验

上一篇：随机过程

下一篇：递推关系与种群动力学

本文对您是否有用？有用 (0) 无用 (0)