19、马尔可夫链中的吸收概率、佩龙补和随机补

马尔可夫链中的吸收概率、佩龙补和随机补

1. 吸收链的吸收概率和吸收时间

在马尔可夫链中，如果存在吸收状态，转移矩阵 $P$ 可以写成规范形式：
[
P =
\begin{pmatrix}
p_{11} & \cdots & p_{1r} & p_{1,r + 1} & \cdots & p_{1s} \
\vdots & \ddots & \vdots & \vdots & \ddots & \vdots \
p_{r1} & \cdots & p_{rr} & p_{r,r + 1} & \cdots & p_{rs} \
0 & \cdots & 0 & 1 & \cdots & 0 \
\vdots & \ddots & \vdots & \vdots & \ddots & \vdots \
0 & \cdots & 0 & 0 & \cdots & 1
\end{pmatrix}
]

对于可约链，其转移矩阵 $P =
\begin{pmatrix}
T_{11} & T_{12} \
0 & T_{22}
\end{pmatrix}$ 为规范形式。设 $T_i$ 和 $E_j$ 分别为第 $i$ 个暂态类和第 $j$ 个遍历类，$p_T^i(0)$ 为从 $T_i$ 中各状态开始的初始分布。