贝叶斯的应用

1. 贝叶斯的应用

概率论是逻辑严谨推理性强的一门数学分科,贝叶斯公式是概率论中较为重要的公式,是一种建立在概率和统计理论基础上的数据分析和辅助决策工具,以其坚实的理论基础、自然的表示方式、灵活的推理能力和方便的决策机制受到越来越多研究学者的重视。目前,贝叶斯网络已经广泛应用在医学、信息传递、生产、侦破案件几个方面。

2. 贝叶斯方法理解

读到了一篇不错的关于贝叶斯方法和贝叶斯网络的 文章 ，整理一下理解和思考。
  
 概率和统计是两个非常相关的概念，大家印象里很容易把统计变量等同于某个概率值或概率分布，但对于不同的统计方法而言，如何看待统计变量是存在区别的。
  
 对于某个待推断的统计变量  ，频率学派认为  是一个固定变量，给定了一系列随机样本  后，通过计算频率来估计样本的分布，从而确定  。相反，贝叶斯学派认为  也是随机变量，在没有观察到任何样本之前，人们可以对  有一个主观的猜测，通常表示为先验分布  。而当观察到样本后X，先验分布会被逐渐修正为后验分布  ，从而逼近真正  的取值。
  
 既然贝叶斯方法中，需要由后验分布来估计统计变量，那么一个重要的问题是如何计算后验分布。这里就需要引入贝叶斯公式：   。
  
 可以看到，后验分布  是先验分布  通过乘以某个修正因子  得到的。这里  被称为Likelihood，表示已知  ，样本X发生的概率；  称为联合分布，表示  同时发生的概率；  则代表样本X发生的边缘分布，可以通过将联合分布  对  积分求得。
  
 在实践中，我们一般取使后验概率分布  最大的  作为估计，也即最大后验估计。对于给定的X，一般认为  也是固定的，因此最大后验估计也就被转化为最大化  。
  
 以上方法被广泛应用在各类问题中，比如应用朴素贝叶斯算法解决垃圾邮件分类，应用noisy channel model解决拼写检查。
  
 参考：
    从贝叶斯方法谈到贝叶斯网络

3. 用贝叶斯解答

因为当一个人被检测出阳性，其为正常人的贝叶斯概率为P1=0.01%*990000/(0.01%*990000+1*100%)=99%.
而其为患病者的贝叶斯概率为P2=100%*1/(0.01%*990000+1*100%)=0.01%。
因此，一个人被检测出位阳性，很可能也是正常人，所以不能用这种医学检验。

4. 贝叶斯公式的原理

通常，事件A在事件B(发生)的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系,贝叶斯法则就是这种关系的陈述。作为一个规范的原理，贝叶斯法则对于所有概率的解释是有效的；然而，频率主义者和贝叶斯主义者对于在应用中概率如何被赋值有着不同的看法：频率主义者根据随机事件发生的频率，或者总体样本里面的个数来赋值概率；贝叶斯主义者要根据未知的命题来赋值概率。一个结果就是，贝叶斯主义者有更多的机会使用贝叶斯法则。贝叶斯法则是关于随机事件A和B的条件概率和边缘概率的。其中L(A|B)是在B发生的情况下A发生的可能性。在贝叶斯法则中，每个名词都有约定俗成的名称：Pr(A)是A的先验概率或边缘概率。之所以称为先验是因为它不考虑任何B方面的因素。Pr(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。Pr(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。Pr(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）。按这些术语，Bayes法则可表述为：后验概率 = (似然度 * 先验概率)/标准化常量　也就是说，后验概率与先验概率和似然度的乘积成正比。另外，比例Pr(B|A)/Pr(B)也有时被称作标准似然度（standardised likelihood），Bayes法则可表述为：后验概率 = 标准似然度 * 先验概率 其中为完备事件组，即

5. 贝叶斯法则的相关原理

 学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h，h被称为极大后验假设（MAP）确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率，计算式如下:h_map=argmaxP(h|D)=argmax (P(D|h)*P(h))/P(D)=argmax P(D|h)*p(h) (h属于集合H)最后一步，去掉了P(D)，因为它是不依赖于h的常量。 在某些情况下，可假定H中每个假设有相同的先验概率，这样式子可以进一步简化，只需考虑P(D|h)来寻找极大可能假设。h_ml =argmaxp(D|h) h属于集合HP(D|h)常被称为给定h时数据D的似然度，而使P(D|h)最大的假设被称为极大似然假设。

6. 贝叶斯定理的贝叶斯

贝叶斯(1701年—1761年) Thomas Bayes，英国数学家。1701年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1761年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。1763年由Richard Price整理发表了贝叶斯的成果《An Essay towards solving a Problem in the Doctrine of Chances》 ，对于现代概率论和数理统计都有很重要的作用。贝叶斯的另一著作《机会的学说概论》发表于1758年。贝叶斯所采用的许多术语被沿用至今。

7. 贝叶斯网络基本原理

贝叶斯网络又称信念网络，是有向无环图的网络拓扑结构和贝叶斯概率方法有机结合的模型表示，描述了各个数据项及其相互间的依赖关系。一个 BN 包括了一个拓扑结构模型和与之相关的一组条件概率参数。结构模型是一个有向无环图，每个节点则表示一个随机变量，是对于状态、过程、事件等实体的某个特性的形象描述，其中的有向边则表示随机变
量之间的条件依赖关系。BN 中每个节点( 除根节点外) 都有一个给定其父节点情况下的条件概率分布。2. 1. 1 贝叶斯网络定理
BN 是一种概率网络，即基于概率推理的图形化网络，这个概率网络的基础是贝叶斯公式。我们先来看一看贝叶斯基本公式。
定义 2. 1 条件概率: 设 X、Y 是两个事件，且 P( X) >0，称

基于BN+GIS新技术的突水态势研究

为在事件 X 发生的条件下事件 Y 发生的条件概率。
定义 2. 2 联合概率: 设 X，Y 是两个事件，且 P( X) >0，它们的联合概率为:

基于BN+GIS新技术的突水态势研究

定义2.3全概率公式:设试验E的样本空间为S，X为E的事件，Y1，Y2，…，Yn为E的一组事件，满足:

基于BN+GIS新技术的突水态势研究

定义2.4贝叶斯公式:根据定义2.1、定义2.2和定义2.3，很容易推得众所周知的贝叶斯公式:

基于BN+GIS新技术的突水态势研究

2. 1. 2 贝叶斯网络的拓扑结构
BN 是一个具有概率分布的有向无环图( Directed Acyclic Graph) ，其中每个节点代表一个数据变量或者属性，节点间的弧段代表数据变量( 属性) 之间的概率依赖关系。一条弧段由一个数据变量( 属性) X 指向另外一个数据变量( 属性) Y，说明数据变量 X 的取值可以对数据变量 Y 的取值产生影响。既然是有向无环图，因此 X，Y 间不构成有向回路。在 BN 当中，连接两个节点的一条弧 XY 中的弧头节点( 直接的原因节点) X 叫做弧尾节点( 结果节点) Y 的双亲节点( Parents) ，Y 叫做 X 的孩子节点( Children) 。如果从节点 A 有一条有向通路指向 B，则称节点 A 为节点 B 的祖先( Ancestor) ，同时称节点 B 为节点 A 的后代( Descendent) 。
BN 能够利用简单明了的图形表达方式定性地表示事件间复杂的概率关系和因果关系，在给定某些先验信息后，还可以定量地表示这些因果概率关系。BN 的拓扑结构通常是根据具体的问题和研究对象来确定的。目前如何通过结构学习自动确定和优化网络的拓扑结构是 BN 的一个研究热点。
2.1.3 条件独立性假设
条件独立性假设是BN进行定量推理的理论基础，可以减少先验概率的数目，从而大大地简化推理和计算过程。
BN的条件独立性假设的一个很重要的判据就是著名的分隔定理(D－Separation):
定义2.5阻塞:G=(V(G)，E(G))为一个有向非循环图，s是其中的一条链。当s包含3个连续的节点x，y，z，满足以下3种情况之一，我们称s被节点集合W(WV(G))阻塞:
(1)z∈W，s上存在弧x→z和z→y;
(2)z∈W，s上存在弧x←z和z→y;
(3)s上存在弧x→z和z←y，σ(z)∩W=，σ(z)表示z以及z的所有子孙节点的集合。

图2.1 阻塞的3种情形

定义2.6阻塞集:两个节点x和y间的所有路径都被节点集合Z所阻塞，则称集合Z为x，y两个节点间的阻塞集。
定义2.7D-Separation:令X，Y和Z是一个有向无环图G中3个不相交节点的子集，如果在集合X和Y中所有节点间的所有路径都被集合Z所阻塞，则称集合X，Y被Z集合(d－separation)，表示为＜X，Y|Z>G，也称Z为X和Y的切割集。否则，称在给定集合Z下集合X和Y的图形依赖。
这个判据指出，如果Z隔离了X和Y时，那么可以认为X与Y是关于Z条件独立的，即:P(X|Y，Z)=P(X|Y)。

8. 贝叶斯原理及应用

　　贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。　　贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。　　贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：　　1、已知类条件概率密度参数表达式和先验概率。　　2、利用贝叶斯公式转换成后验概率。　　3、根据后验概率大小进行决策分类。　　他对统计推理的主要贡献是使用了"逆概率"这个概念，并把它作为一种普遍的推理方法提出来。贝叶斯定理原本是概率论中的一个定理，这一定理可用一个数学公式来表达，这个公式就是著名的贝叶斯公式。 贝叶斯公式是他在1763年提出来的：　　假定B1,B2,……是某个过程的若干可能的前提，则P(Bi)是人们事先对各前提条件出现可能性大小的估计，称之为先验概率。如果这个过程得到了一个结果A，那么贝叶斯公式提供了我们根据A的出现而对前提条件做出新评价的方法。P(Bi∣A)既是对以A为前提下Bi的出现概率的重新认识，称 P(Bi∣A)为后验概率。经过多年的发展与完善，贝叶斯公式以及由此发展起来的一整套理论与方法，已经成为概率统计中的一个冠以“贝叶斯”名字的学派，在自然科学及国民经济的许多领域中有着广泛应用。公式：　　设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)>0(i=1，2，…，n)。对于任一事件x，P(x)>0，则有： 　　n　　P(Dj/x)=p(x/Dj)P(Dj)/∑P(X/Di)P(Di)　　i=1　　( http://wiki.mbalib.com/w/images/math/9/9/b/99b1873c5d047747a8768a99ac7c370e.png）贝叶斯预测模型在矿物含量预测中的应用 贝叶斯预测模型在气温变化预测中的应用 贝叶斯学习原理及其在预测未来地震危险中的应用 基于稀疏贝叶斯分类器的汽车车型识别 信号估计中的贝叶斯方法及应用 贝叶斯神经网络在生物序列分析中的应用 基于贝叶斯网络的海上目标识别 贝叶斯原理在发动机标定中的应用 贝叶斯法在继电器可靠性评估中的应用 相关书籍: Arnold Zellner 《Bayesian Econometrics: Past, Present and Future》 Springer 《贝叶斯决策》 黄晓榕 《经济信息价格评估以及贝叶斯方法的应用》 张丽 , 闫善文 , 刘亚东 《全概率公式与贝叶斯公式的应用及推广》 周丽琴 《贝叶斯均衡的应用》 王辉 , 张剑飞 , 王双成 《基于预测能力的贝叶斯网络结构学习》 张旭东 , 陈锋 , 高隽 , 方廷健 《稀疏贝叶斯及其在时间序列预测中的应用》 邹林全 《贝叶斯方法在会计决策中的应用》 周丽华 《市场预测中的贝叶斯公式应用》 夏敏轶 , 张焱 《贝叶斯公式在风险决策中的应用》 臧玉卫 , 王萍 , 吴育华 《贝叶斯网络在股指期货风险预警中的应用》 党佳瑞 , 胡杉杉 , 蓝伯雄 《基于贝叶斯决策方法的证券历史数据有效性分析》 肖玉山 , 王海东 《无偏预测理论在经验贝叶斯分析中的应用》 严惠云 , 师义民 《Linex损失下股票投资的贝叶斯预测》 卜祥志 , 王绍绵 , 陈文斌 , 余贻鑫 , 岳顺民 《贝叶斯拍卖定价方法在配电市场定价中的应用》 刘嘉焜 , 范贻昌 , 刘波 《分整模型在商品价格预测中的应用》 《Bayes方法在经营决策中的应用》 《决策有用性的信息观》 《统计预测和决策课件》 《贝叶斯经济时间序列预测模型及其应用研究》 《贝叶斯统计推断》 《决策分析理论与实务》