PPT《马氏链简介》

马氏链简介 (Markov Chain) 马氏链(Markov Chain)是随机过程的一个特例,专门研究无后效条件下时间和状态均为离散的随机转移问题,但在建模过程中采用线性代数的方法,因此,也在线性代数模型中来学习.

马氏链简介

(一)商品的经营问题 某商店每月考察一次经营情况,其结果用销路好或销路坏这两种状况之一表示.已知如果本月销路好,下月仍保持这种状况的概率为0.5;

如果本月销路坏,下月转变为销路好的概率为0.4.试分析假若开始时商店处于销路好的状况,那么经过若干月后能保持销路好的概率有多大?若开始时商店处于销路坏的状况呢? 一 正则链(Regular Chain) ? 0.5555 0.555 0.55 0.5

0 ? 0.4445 0.445 0.45 0.5

1 4

3 2

1 0

1 分析 ? 0.5556 0.556 0.56 0.6

1 ? 0.4444 0.444 0.44 0.4

0 4

3 2

1 0 表示销路好;

表示销路坏;

2 符号说明 商店的经营状况是随机的,每月转变一次. 建模目标是经过一段时间(若干月)后,经营状况如何,即经营好或经营坏的概率分别为多少? 用随机变量 表示第 n 个月的经营状况 称为这个经营系统的状态. 用 表示第 月处于状态 的概率, 即 称为状态概率. 表示已知这月处于状态 ,下月处于状态 的概率, 即 称为状态转移概率.状态及转移情况见图. 0.5 0.4 0.5 0.6

1 2

3 建模 令P概率转移矩阵

4 求解 P 特征值为1,1/10 当5结论 不论初始状态如何,经过相当长的时间后经营状态趋于稳定的概率. 注意到 经营系统在每个时期所处的状态是随机的,但从这个时期到下个时期的状态按照一定的概率进行转移,并且下个时期的状态只取决于这个时期的状态和转移概率,与以前各个时期的状态无关. 这种性质称为无后效性,或马尔可夫(Markov)性,即已知现在,将来与历史无关. 具有无后效性的,时间、状态均为离散的随机转移过程,通常用马氏链(Markov Chain)模型描述. 马氏链模型在经济、社会、生态、遗传等许多领域有广泛应用,不仅可以解决随机转移过程,还可以处理一些确定性系统的状态转移问题. ,当它的所有分量是非负, 一般地,一个行向量 且行和为1,称此向量为概率向量. 每行都为概率向量的矩阵,称为概率转移矩阵. 可证明 若A,B为概率转移矩阵,则AB也为概率转移矩阵. 若P为概率转移矩阵,则Pn 也为概率转移矩阵. 证明 若A,B为概率转移矩阵, 而AB=C的第 i 行,第j列元素为 显然, 定义1 一个有 个状态的马氏链如果存在正整数 使从任意状态 经过 次转移都以大于零的概率到 达状态 ,则称为正则链. 定理1 若马氏链的转移矩阵为 ,则它是正则链的 充要条件是,存在正整数 使 (指 的每一 元素大于零). 特点: 从任意状态出发经过有限次转移都能到达另外的任意状态. (用这个定理检验一个马氏链是否为正则链.) 定理2 由 存在,记作 的每一行都是稳态概率 如果记 那么,有 使得当 时状态概率 概率 无关. 正则链存在唯一的极限状态概率 与初始状态 由 又称为稳态概率. 上例中 从状态 出发经 次转移,第一次到达状态 的概 率称为 到 的首达概率,记作 ,于是 为由状态 第一次到达状态 的平均转移次数. 特别地, 是状态 首次返回的平均转移次数. 与稳态概率 有密切关系,即 定理3 对于正则链

(二)信息传播问题 一条消息在 等人中传播,传播 的方式是 传给 传给 如此继续下去,每次传播都是由 传给 每次传播消息的失真率为 即 将消息传给 时,传错的概率为 这样经过长时间传播第n个人得知消息时,消息的真实程度如何? 第n个人知道消息可能是真,也可能是假,有两种状态,记为 表示消息假;