所有文章 > 正文

解读贝叶斯原理

作者: 李子俊

时间: 2019-06-15 14:21

贝叶斯(Reverend Thomas Bayes, 1702-1761),其论文“关于几率性问 题求解的评论” 是贝叶斯学派奠基性的论文。该论文在他生前并没有发表,是在他过世后,由他的朋友代为发表的。

贝叶斯的方法为大家重视和理解,是因为 著名的数学家拉普拉斯 (Laplace P. S.),他用贝叶斯的方法推导出了重要的 “相继律”[18]

二十世纪初,英国的杰弗莱(Jeffreys H.)和意大利的菲纳特(B. de Finetti)对贝叶斯学派的理论作出了非常重要的贡献。

贝叶斯法则最初是一种用于概率论基础理论的归纳推理方法,但随后被一些统计学学者发展为一种系统的统计推断方法,运用到统计决策、统计推断、统计估算等诸多领域[19]

贝叶斯定理是关于随机事件 A 和 B 的条件概率(或边缘概率)的一则定理。 其中 P(A|B)是在 B 发生的情况下 A 发生的可能性。

贝叶斯定理也称贝叶斯推理,早在 18 世纪,英国学者贝叶斯(1702~1763) 曾提出计算条件概率的公式用来解决如下一类问题:假设 H[1],H[2]...,H[n]互斥且构成一个完全事件,已知它们的概率 P(H[i]),i=1,2,...,n,现观察到某事件 A 与 H[1],H[2]...,H[n]相伴随机出现,且已知条件概率 P(A|H[i]),求 P(H[i]|A) [20]


贝叶斯公式

定义一 假定某个过程有若干可能的前提条件,则表示人们事先对前提条件 Xi 出现的可能性大小的估计,即先验概率。
定义二 假定某个过程得到了结果 A,则P(Xi | A)表示在出现结果 A 的前提下,对前提条件 Xi 出现的可能性大小的估计,即后验概率。


先验概率是由以往的数据分析得到的。根据样本数据得到更多的信息后,对其重新修正,即是后验概率。


贝叶斯法则又可表述为: 后验概率=(似然度*先验概率)/标准化常量=标准似然度*先验概率

P(A|B)随着 P(A)和 P(B|A)的增长而增长,随着 P(B)的增长而减少,即如果 B 独立于 A 时被观察到的可能性越大,那么 B 对 A 的支持度越小。

贝叶斯公式通过使用收集的信息提供了纠正原始判断的有效手段。 在抽样之前,经济实体对各种假设(先验概率)有判断,先验概率的分布通常可以根据经济实体的经验确定,当没有信息时,一般而言,先验概率是相同的[21]。

[18] Artificial IntelligenceA Modern Approach. 大学计算机教育国外著名教材系列(影印版)[J]. 计算机教育, 2012(1):7.

[19] Wermter S, Weber C, Duch W, et al. Artificial Neural Networks and Machine Learning –ICANN 2014[M]. 2014.

[20] Davidsonpilon C. Bayesian Methods for Hackers[J]. 2016.

[21] Choi, Taeryon. Bayesian networks with examples in R[J]. Biometrics, 2015, 71(3):864-865.

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多