|
|
51CTO旗下网站
|
|
移动端

3.2.1 马尔可夫链的状态分类、常返性与正常返性(1)

《应用随机过程:模型和方法》第3章离散时间马尔可夫链,在本章中,我们讨论离散时间(即随机序列)离散状态的具有马尔可夫性的随机过程,称为离散时间马尔可夫链,它是独立随机试验模型与独立增量序列的最直接的拓广。本节为大家介绍马尔可夫链的状态分类、常返性与正常返性。

作者:龚光鲁/钱敏平来源:机械工业出版社|2016-11-18 21:23

3.2.1 马尔可夫链的状态分类、常返性与正常返性(1)

前面我们在理论上给出了马尔可夫链的所有统计分布都可以由它的初始分布及{Pn:n>0}决定. 但是,即使知道了转移矩阵P,一般当n很大时,求出Pn也是十分困难的.然而,遍历论指出, 在很多常见的情形,在n非常大时Pn有一个渐近极限.于是,当马尔可夫链运行充分长时间后,它处于各状态的统计规律可由此极限矩阵近似地给出.

遍历论发展的历史显示,上述极限是和它出发的状态的常返性质有关的,所以本节先引进马尔可夫链的状态分类、状态的常返性和正常返性.

我们从下面这个最简单的马尔可夫链(它的n步转移概率矩阵很容易求出)入手,以便对一般马尔可夫链,在步数n很大时给出Pn的变化趋势规律性的启示.

例3?7考虑以下的两状态马尔可夫链{Xn,n≥0}, 其转移矩阵为

我们求得P的特征值是1和1-(a+b),它们相应的特征向量(严格地,应称为右特征向量)为

于是,我们可用相似变换将它化为对角形

我们直观地分析在上面几种情形下Pn的极限情况的差别及其原因,以便理解马尔可夫链的状态分类.

我们将P的转置矩阵的特征值为1的特征向量x的转置xT,称为P的特征值为1的左特征行向量,即如果有

PTx=x,它等价于xTP=xT

则称xT为P的特征值为1的左特征行向量. 在情形(1),这个左特征行向量的归一化, 正是极限矩阵中的各行(此时各行是相同的).在这种情形,从两个状态中的任意一个出发都可以以正概率到达另一个,也可以以正概率停留在该状态.这样当n很大时(即经过很长时间后),从每个状态出发,将来一定都会回到该状态.于是各状态就充分地“混合”,无论开始从哪个状态出发,当 n 很大时Xn都近似地按一定的比例处于各状态.严格地说,Pn的极限就是每行都一样的行向量——特征值为1的归一化的左特征行向量.

其中在a,b中只有一个等于0时,不妨假定a=0.此时从***个状态出发,一定“死在”(永远停留在)那里,而从第二个状态出发,有一个正概率到达***个状态,有去无回,于是当 n 很大时(经过很长时间后),马尔可夫链“死在” ***个状态的概率越来越大,最终以概率为1处在***个状态.这里,两个状态的性质是不同的,离开第二个状态,它不再回来.

在情形(2),Pn=P,每次转移状态都没有变化,两个状态都是“吸收态”.

在情形(3),由于a=b=1,马尔可夫链 {Xn,n≥0} 周期性地访问两个状态, 从而当n→∞时Pn的极限不存在.

这几种情形是马尔可夫链的典型情形.事实上,可以将一般的马尔可夫链的状态各自分类为这些具有代表性的情形.以下就将状态进行分类.

定义3?4 (常返态和暂态)马尔可夫链 {Xn,n≥0} 的状态i称为常返态,如果从i出发经过有限步转移后最终又回到i的概率为1,即

P(存在n, 使得Xn=i|X0=i)=1(3?9)

否则状态i称为暂态.

在例3?7中,在情形(1) 与(3),所有状态都是常返的;在情形(2),***个状态是常返的,第二个状态是暂态的.

定义3?5 (可达与互通)如果存在n≥0使p(n)ij>0,则称从状态i可达状态j,记作i→j?它表示从状态i经过有限步的转移可以到达状态?两个互相可达的状态i和j则称为是互通的,记为i?j?

在例3?7中,在情形(1)与(3),两个状态是互通的.在情形(2),两个状态不是互通的,第二个状态可达***个状态,而***个状态不可达第二个状态.

由后面的定理可证,对于常返状态而言,“互通”关系是一个等价关系.从而对马尔可夫链,我们可以把它的全部常返状态分为若干个互通类(暂态不予分类). 其重要性在于每个互通类中的各状态都是互通的,而且它们的常返性都是相同的.下面我们来说明这一点,并给出判断一个状态是常返的条件.

首先我们考虑从一个状态i出发马尔可夫链迟早到达j的概率,记之为f*ij.为此, 我们将马尔可夫链经过n步转移,***到达j的概率记为 fij(n),即


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:342347198

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

16招轻松掌握PPT技巧

16招轻松掌握PPT技巧

GET职场加薪技能
共16章 | 晒书包

289人订阅学习

20个局域网建设改造案例

20个局域网建设改造案例

网络搭建技巧
共20章 | 捷哥CCIE

645人订阅学习

WOT2019全球人工智能技术峰会

WOT2019全球人工智能技术峰会

通用技术、应用领域、企业赋能三大章节,13大技术专场,60+国内外一线人工智能精英大咖站台,分享人工智能的平台工具、算法模型、语音视觉等技术主题,助力人工智能落地。
共50章 | WOT峰会

0人订阅学习

读 书 +更多

八万里路云和月——一个国家扶贫开发工作重点县的

通榆,这个距离各个交通枢纽都十万八千里的偏僻小县城,搭载着电子商务的快车,踏上了云高速,开辟了如火如荼的电商致富的新战场,实现了一...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO播客