PDF《贝叶斯网络》

贝叶斯网络 从贝叶斯定理到贝叶斯网络 高阳http://cs.

nju.edu.cn/gaoy, 2017.11.1 贝叶斯网络 贝叶斯定理 贝叶斯信念网络 贝叶斯网络的结构学习 贝叶斯网络的参数学习 贝叶斯网络的推理 贝叶斯定理 先验概率 vs 后验概率 ?先验概率 ? 在得到任何新证据之前,统计的事件概率.即非条件概率, P(事件). ? 一个人脑膜炎的概率,即脑膜炎的人数除以目标区域总人数. ?后验概率 ? 给定新证据之后,统计的事件概率.即条件概率,P(事件|证据). ? 一个人表现出头痛的症状,其脑膜炎的概率,P(脑膜炎|头痛). 演绎推理 vs 归纳推理 演绎推理:不要求前件是真实的 归纳推理:要求前件必须为真,结论未必为真(从特殊到一般) 贝叶斯决策(贝叶斯归纳推理): ? 已知先验概率和类条件概率表达式;

? 转换成后验概率;

? 根据后验概率大小进行决策/推理. Thomas Bayes,1701-1761 英国数学家 基本思想:通过先验概率和类条件概率表达式,计算后验概率 推导: 贝叶斯定理 例子 购买汽车时,去第一家经销商d1的概率为0.2,去第二家经销商 d2的概率为0.4,去第三家经销商d3的概率为0.4.在经销商d1处 购买汽车a1的概率为0.2,在经销商d2处购买汽车a1的概率为0.4, 在经销商d3处购买汽车a1的概率为0.3.如果已经购买了汽车a1, 则在d2处购买的概率是多少? 多个证据下的推理 链式规则(采用归纳法) ? 考虑n个证据 ? 考虑n-1个证据,直到1个 贝叶斯信念网络 另一个例子 假设从仙林开车去鼓楼,发现交通很拥堵.你试图寻找交通差 的可能的解释. 计算代价 计算例子中所有参数的联合概率 需要存储的联合概率表的表项为25=32个! 假定这个问题中的参数只与双亲节点的概率相关 需要存储的联合概率表的表项为22+22+23+22=20个! 贝叶斯信念网络 ?贝叶斯网络 ? 是一个有向无环图. ? 节点代表随机变量. ? 边代表节点间的关系(因果关系),用条件概率表达关系的强 度. ? 没有父节点的用先验概率表达信息. ? 因果关系不可以循环(结果不能推回原因). ? 因而,推理就是图中的一条路径. Judea Pearl,1988年提出 贝叶斯网络中的独立性 在贝叶斯网络中,条件独立性可以由图的结构判定 ? 顺序连接 ? 分支连接 ? 汇合连接 ? 分支和汇合 顺序连接 ? 顺序连接:给定Y的知识,那么X和Z独立.如果Y未知,则X 和Z不独立. ? 油量诊断 ? 旧的活塞(Z)引起油量过度消耗(Y);

? 油量过度消耗(Y)导致油箱油量过低(X). 分支连接 ? 分支连接:给定Y的知识,那么X和Z独立.Y未知,X和Z不独 立. ? 油量诊断 ? 旧的活塞(Y)引起蓝色的废气(X);

? 旧的活塞(Y)引起油量过度消耗(Z);

. 汇合连接 ? 汇合连接:Y未知时,X和Z独立.但给定Y,X和Z不独立. ? 油量诊断 ? 油量过度消耗(X)导致油箱油量过低(Y);

? 漏油(Z)导致油箱油量过低(Y) . 分支和汇合 ? 分支和汇合:仅给定U,Z和X不独立.当且仅当给定U和V时, Z和X独立. 汇合连接的独立性 因此,在给定Alarm或其子节点, Earthquake和Burglar不独立! ? 防盗警报响可能是窃贼引起的;

? 防盗警报响也可能是地震引起的;

? 窃贼和地震是相互独立的;

? 假设,你听到了警报响,并已知附 近发生了轻微地震…… ? 那么,你会推理,警报响是由于地 震引起而不是由窃贼….. d-可分 判断贝叶斯网络中任意两个节点之间是否独立 定义:A和B被一组随机变量E d-可分,当且仅当他们之间的所有路径都是堵塞的. 堵塞:如果A到B上有这样的一个中间节点V,那么路径是堵塞的.V满足以下两个 属性之一: