|
|
51CTO旗下网站
|
|
移动端

3.2.1 马尔可夫链的状态分类、常返性与正常返性(2)

《应用随机过程:模型和方法》第3章离散时间马尔可夫链,在本章中,我们讨论离散时间(即随机序列)离散状态的具有马尔可夫性的随机过程,称为离散时间马尔可夫链,它是独立随机试验模型与独立增量序列的最直接的拓广。本节为大家介绍马尔可夫链的状态分类、常返性与正常返性。

作者:龚光鲁/钱敏平来源:机械工业出版社|2016-11-18 21:26

3.2.1 马尔可夫链的状态分类、常返性与正常返性(2)

它是马尔可夫链从i出发, 在有限时间内能够到达j的概率,也即它迟早转移到状态j的概率.

于是我们有

状态i为常返态,当且仅当f*ii=1; 状态i为暂态,当且仅当f*ii<1

以下定理所用的方法称为首步分析法:将马尔可夫链的一个事件的概率按马尔可夫链首步到达的状态分成不同的情形考虑. 首步分析法是分析马尔可夫链的基本方法之一.

定理34 (n步转移概率的首达分解)对于任意状态 i,j, 任意时刻n,有

定理34给出的恰是n步转移概率与首达时之间的“卷积”关系,它等价于如下的母函数乘法形式:

推论31 (有限状态马尔可夫链必有常返态)只有有限个状态的马尔可夫链(简称有限状态马尔可夫链)至少存在一个常返态

证明我们用反证法记状态数为N. 谬设有限状态马尔可夫链的所有状态均为暂态, 那么,由

导出了矛盾,可见假设不真.

注1从一个马尔可夫链的常返状态i出发,它不仅概率为1地总会返回i,而且它会无穷次地返回i,这是因为,由马尔可夫性,它每次返回i,马尔可夫链就忘记过去而重新开始,因而它必须再返回i ,所以它返回状态i的次数是无穷的.

注2由推论31可见, 有限状态马尔可夫链经过充分长的时间后 “几乎”不会访问它的暂态,从而,当马尔可夫链运行很长时间后,我们可以忽略这些状态.而且这一事实对一般的马尔可夫链仍然是正确的.

注3在实际中, 人们通常关注的是在某个常返类中的运行趋向, 这就相当于研究一个互通的常返马尔可夫链.

例38(Zd上的对称随机徘徊)以Zd记d维整数格点组成的集合. 每一个格点有d个方向, 故而各有2d个邻点. 在马尔可夫链处在某一个格点时, 它以相同的概率(即各以概率12d)在下一个时刻转移到它的任意一个邻点. 这样的马尔可夫链称为Zd上的对称随机徘徊由于这时各个点的常返性与暂态性是一样的,于是我们只考察原点的情形显然p(2n-1)00=0.

对于正整数m,如果将m个不同的元素分成l个组, 使第j组恰有kj个元素(k1+…+kl=m), 将不同分法的总数记为Ck1,…,klm, 那么,对m作归纳法可得Ck1,…,klm=Ck1mCk2m-k1…=m!k1!…kl!.于是

而当d≥3时,利用Stirling公式可导出如下近似式:在n→∞时,

也就是, 对于Zd上的对称简单随机徘徊, 当d≤2时, 一切状态都是常返态. 而当d≥3时, 一切状态都是暂态. 这个结论是很清楚的: 在d大时,能去的地方多了, 回返的可能性就小了.

喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:342347198

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

活学活用 Ubuntu Server

活学活用 Ubuntu Server

实战直通车
共35章 | UbuntuServer

220人订阅学习

Java EE速成指南

Java EE速成指南

掌握Java核心
共30章 | 51CTO王波

83人订阅学习

Mysql DBA修炼之路

Mysql DBA修炼之路

MySQL入门到高阶
共24章 | 花名is孤舟

474人订阅学习

读 书 +更多

网络系统开发实例精粹(JSP版)

《网络系统开发实例精粹》以实际的软件开发项目实例介绍贯穿始末,逐层深入的介绍了应用JSP开发Web应用程序的详细过程。全书以深透软件工程...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO播客