一文读懂概率论!贝叶斯公式与逆概率的逻辑革命
单击上方“图灵人工智能”,选择“星标”公众号
您想知道的人工智能干货,第一时间送达

在概率论的日常应用中,正向条件概率 通常是容易获得的信息。
例如,已知一条生产线的历史次品率,或者已知某种疾病状态下检测试剂的阳性反应概率。
这些都是从“原因”到“结果”的推断,可以由物理模型或长期频率直接统计得到。

然而,现实中的决策却总是逆向的。例如,当我们拿到一份阳性检测报告时,我们需要知道的是“我真正患病的概率是多少”。
这种从观测到的“结果”反推其背后“原因”的概率,称为逆概率,远比正向问题复杂。
这是因为同一个结构可能由多种原因产生,而每种原因本身的先验概率可能天差地别。
贝叶斯公式正是解决这一“因果方向反转”问题的数学工具。
ARITCLE CONTENTS
PART .01 >>>
形式定义
PART .02 >>>
逆概率本质
PART .03 >>>
延伸与升华

01
形式定义
贝叶斯公式的严格表述
在概率学中,贝叶斯公式不像古典概率那样只描述事件发生的概率,而是描述:
当我们获得新信息后,如何更新对某个事件发生的信念;也就是用数据更新认知。
在概率空间 中,设 是样本空间 的一个完备事件组,即这些事件两两互斥且并集为全空间,并且 对每个 成立。

对于任意事件 ,若 ,则贝叶斯公式给出事件 在给定 发生后的条件概率,也就是后验概率:
从代数角度来看,上述公式不过是三个之前讲过的概念组合:
条件概率: ;
乘法公式: ;
全概率公式: 。
其推导本身并无任何新假设,但这一简洁的表达式将两种方向完全相反的条件概率联系在一起:
似然概率 :从原因 到结果 的正向概率,通常由物理机制或历史数据可直接获得;
后验概率 :从结果 反推原因 的逆概率,这是决策者在观测到数据后真正关心的量,却通常无法直接观测。
贝叶斯公式建立了二者之间精确的数量转换关系。
使得我们能够从可获得的似然和先验出发,计算出不可直接观测的后验。

02
逆概率本质
贝叶斯比例形式与逆概率本质
将贝叶斯公式改写比例形式,可以更清晰的理解其内在机制:
其中, 表示“正比于”,比例常数为 , 仅起到归一化作用,不改变不同 之间的相对大小。
从这个角度来看,后验概率是先验概率与似然的乘积的归一化结果。
这一表达式揭示了贝叶斯推断的核心原则:
证据的影响力取决于其在不同假设下的似然差异,而最终的后验信度则同时受制于先验的权重。
逆概率的本质难点在于其“由果溯因”的难度。
即使某个假设的似然 非常高,但若该假设本身的先验 极其微小,其后验仍然可能低得令人惊讶。
这正是著名的基本比率谬误(Base Rate Fallacy)的数学根源。

以医学检测为例:假设某种罕见病在人群中的发病率仅为 1/10000,即 P(患病) = 0.0001。
某项检测的灵敏度高达 99%,即 P(阳性|患病) = 0.99,同时假阳性率为 1%,即 P(阳性|健康) = 0.01。
若某人检测结果为阳性,直觉上许多人会认为其患病概率接近 99%。但贝叶斯公式给出的真实后验为
即不足 。这一反直觉结果完全源于极低的先验发病率:
健康人群基数极大,即使假阳性率很低,其产生的假阳性绝对数量仍然远远超过真阳性数量。
贝叶斯公式精确地量化了这种“信号淹没在噪声中”的现象,并告诉我们:
在逆概率推理中,似然与先验缺一不可,两者必须联合考虑才能得到正确的后验判断。

03
延伸与升华
贝叶斯公式应用范式
贝叶斯最为深远的影响在于其将“概率”从频率学派所定义的“长期重复试验下的极限频率”重新诠释为“在给定信息状态下的合理信念度”。
在这一框架下,概率不再是客观世界的固定属性,而是依赖于观察者所掌握信息的动态度量。
每当我们获得新的观测数据 ,我们便通过贝叶斯公式将先验 更新为后验 。
而这一后验又可以作为下一轮推断的先验,从而形成序贯更新链条:
这种迭代机制是现代机器学习中贝叶斯推理、在线学习与强化学习的核心范式,也是人工智能系统在不确定环境中进行信念维持与决策的基本数学工具。

在实践中,初学者常犯以下三类误解。
第一,混淆后验与似然,将 等同于 。
完全忽略了先验的作用与归一化常数,这是所有统计推断中最常见也最严重的错误。
第二,误以为先验是多余的主观假设,实际上先验正是推理链条的起点。
在数据量不足时起到了关键的“正则化”约束作用;而在大数据条件下,先验的影响会逐渐衰减,最终由数据主导。
第三,将贝叶斯公式限制在离散情形,而事实上连续版本的贝叶斯公式:
上述公式是贝叶斯统计推断的标准形式。其中 为先验密度, 为似然函数,积分归一化后得到后验密度。
这一形式将贝叶斯推断推广到任意参数空间,使其成为现代统计建模的基石之一。

综上,贝叶斯公式将先验信念、似然信息与后验更新融合为一条精确的等式。
不仅为统计推断提供了计算框架,更从根本上重塑了我们对“概率”这一概念的理解。
概率不再仅仅是长期频率的极限,而是对不确定命题的合理信念度量。
注:文章中未声明图片均来源于互联网

文章精选:
1.图灵奖得主姚期智最新演讲: AI有边界,恰恰是好事
