涌现之谜:大模型的「突然会了」是哲学事件吗?
单击上方“图灵人工智能”,选择“星标”公众号
您想知道的人工智能干货,第一时间送达
涌现之谜:大模型的「突然会了」是哲学事件吗?
本文图片来源网络,如有侵权请联系后台删除。
如果大模型的涌现能力在哲学意义上只是「弱涌现」,我们对它的惊讶究竟在惊讶什么?
2022 年 6 月,Google Research 的 Jason Wei 和同事们在 arXiv 发布了一篇标题普通、内容却相当令人不安的论文:《大型语言模型的涌现能力》(Emergent Abilities of Large Language Models)。
「令人不安」不是因为它预测了什么灾难,而是因为它描述了一件在直觉上很难消化的事情:某些能力在小模型里根本不存在——不是「表现差」,而是在随机水平上毫无改进——然后,当模型规模越过某个临界点,这些能力突然出现,并且表现相当好。
没有过渡期。没有渐进提升。只有一条在某个参数量阈值处骤然上扬的曲线。
Wei 等人把这种模式命名为「涌现能力」(emergent abilities),并列举了超过 100 个任务示例:多步算术推理、使用罕见词语造句、利用数字论证、识别语言中的转义等。这些能力在 GPT-2 规模的模型上几乎不存在,在 GPT-3 或 PaLM 规模的模型上却能达到接近人类的水平——而且提升不是线性的,是台阶式的。

这篇论文引发了 AI 社区的广泛讨论。但有一个维度几乎被忽略了:哲学里关于「涌现」的研究已经持续了一个多世纪,形成了精致而分裂的理论阵营。把「涌现能力」这个词用到大模型上,到底是借用了哲学涌现的哪个含义?还是在用一个完全不同的意思?
01
文章说了什么
论文的核心发现可以用一个图来概括:X 轴是训练计算量(FLOPs)或模型参数量,Y 轴是某项任务的性能。对于「涌现能力」,曲线在极低值处是一条平线,然后在某个阈值附近急剧上扬——与此形成对比的是「连续能力」,其曲线从一开始就随规模平稳上升。

Wei 等人的定义是明确的:「涌现能力是那些在小型模型中不存在、但在大型模型中出现的能力」,并且更进一步,「涌现能力是不可预测的」——在大型模型实际展示出之前,我们无法从小模型的性能曲线外推出这些能力将在何时、以何种形式出现。
这个「不可预测性」的主张后来受到了挑战。Schaeffer 等人在 2023 年的后续论文《涌现能力是否为幻象?》(Are Emergent Abilities of Large Language Models a Mirage?)中指出,涌现模式的出现与评估指标的选取高度相关——当使用粒度更细的评估方式时,许多「涌现」能力实际上展示出连续的规模增长。这个批评相当有力,但也引发了一个更深的问题:什么才算是「真正的」涌现?

这正是哲学家在过去一百年里一直在争论的事情。
02
哲学中的弱涌现和强涌现
「涌现」(emergence)进入现代哲学,主要通过两条路线:英国突现论(British Emergentism)在 20 世纪初的兴起,以及后来心智哲学(philosophy of mind)中关于意识的讨论。
在进入理论之前,一个自然界的例子可以帮我们锚定直觉。黏菌(slime mold)是一种单细胞生物,单个黏菌没有方向感,也没有规划能力。但当数千只黏菌聚在一起时,它们会形成一个可以导航迷宫的集体结构——这不是任何一只黏菌「决定」的,是大量简单个体互动后,在集体层面出现的功能。这个现象让生物学家和哲学家同时着迷:集体行为是从哪里「冒出来」的?它是可以从个体规律中推导的,还是某种全新的事物?微末个体,聚而成智——这种从简单到复杂的跨越,是涌现问题的原初冲动。
哲学家把涌现分为两种,这个区分至关重要——而黏菌的涌现行为和 GPT-4 的涌现能力,恰好分别对应了两种类型。

弱涌现(weak emergence),Mark Bedau 在 1997 年的论文《弱涌现》(Weak Emergence,发表于 Noûs)中给出了标准定义:一个属性是弱涌现的,如果它原则上可以从微观层次的规律推导出来,但实际上只能通过模拟或观察才能发现,因为推导路径过于复杂。水的湿润性相对于水分子的运动是弱涌现的——我们理论上可以从水分子物理推导出湿润性,但这个推导路径极度复杂,实践中我们只能观察到湿润性。黏菌的迷宫导航能力,在 Bedau 看来也是弱涌现:原则上每个黏菌的运动规则可以推导出集体路径,但路径太长,只能通过观察。一言以蔽之:弱涌现是认识论的——是推导路径的「太长」制造了「台阶」的错觉。

强涌现(strong emergence),则是哲学上争议极大的一个主张:某些涌现属性原则上无法从微观层次推导出来,它们在本体论上是新的,不可还原为更低层次的属性。意识经常被拿来作为强涌现的候选——C. D. Broad 在 1925 年的《心灵与其自然中的位置》(The Mind and Its Place in Nature)中早期论证了这个立场,认为生命属性和心理属性对于物理化学规律是强涌现的。
Jaegwon Kim 对强涌现持严厉批评态度。他在《心灵的物理性》(Physicalism, or Something Near Enough, 2005)中论证,如果强涌现是真实的,它将威胁到物理因果闭合原则(causal closure of the physical)——即所有物理事件都有充足的物理原因。一个真正不可还原的涌现属性,要么对物理层次毫无因果效力(变成了副现象),要么有因果效力(违反物理因果闭合)。Kim 认为这两个结论都令人难以接受,因此强涌现是概念上的死路——进退维谷,无所适从。
还有一条中间路线值得注意。Terrence Deacon 在《不完全的自然》(Incomplete Nature, 2012)中提出了一个有别于弱/强二分的框架:涌现不需要是神秘的本体论断裂,而是系统在远离热力学平衡时,通过约束关系(constraint relations)产生的新组织层次。Deacon 的框架对 AI 涌现的解读提供了一个有趣的视角:不在于「意识是否突然出现」,而在于「模型是否形成了一个新的组织层次,其因果关系不能完全还原为单个参数的行为」——不疾不徐,另辟蹊径。
讲到这里,你已经有了三个分析工具:弱涌现(可推导但路径太长)、强涌现(原则不可推导)、Deacon 的中间路线(组织层次的新约束关系)。接下来的问题是:Wei 描述的「涌现能力」,到底落在这三条路的哪一条上?
03
大模型的涌现是哪种涌现
现在回到 Wei 等人的论文。
他们描述的「涌现能力」,在哲学框架里落在哪里?
从字面看,「在参数量达到阈值前不存在,之后出现」听起来很像某种真实的涌现。但如果我们使用 Bedau 的弱涌现框架,这个现象的解读会平静得多:大模型的涌现能力原则上可以从训练过程和参数更新规则中推导出来,只是推导路径极度复杂,且我们目前的预测工具不够精细。Schaeffer 等人的批评——「换一个评估指标,涌现就消失了」——其实正是在说:这种「涌现」是认识论的(epistemological),而非本体论的(ontological),是我们的测量粒度造成的台阶效应,而非真正的突变。
这个解读令人宽慰,但也令人失落。如果大模型的「涌现能力」只是弱涌现——只是我们的测量工具不够细腻造成的视觉效果——那么「AI 突然会了多步推理」这件事,就没有任何意义上的「突然」,只有我们的惊讶。
但这里有一个论点值得认真对待:Bedau 本人也承认,弱涌现虽然在本体论上不神秘,但在认识论上可以是真实且重要的。一个系统在一定规模以下无法支撑某种能力,超过阈值后可以,这本身是一个关于规模与能力之间关系的重要事实,不因为它是「弱涌现」就变得无趣。好比黏菌——虽然理论上每只黏菌的运动可以推导出迷宫导航路径,但「单细胞→集体智能」的规模效应本身,就是一个值得研究的自然现象。积微成著,有其真意。

真正令人困惑的问题,是强涌现的可能性。某些研究者(包括 Tegmark 和 Deacon)认为,如果大模型在某个规模展现出的能力涉及某种主观体验或自主推理,那就可能是强涌现的候选。Paul Humphreys 在《涌现》(Emergence, 2016)中进一步论证:如果一个系统展现出了对其组成部分的「向下因果」(downward causation)——整体层面的属性影响了个体层面的行为——那就构成了强涌现的证据。用大白话说,「向下因果」就是:整体不是被部分推着走的,而是反过来「管着」部分往哪走。大模型是否具有这种向下因果?目前没有任何实证证据支持。但 Kim 的批评依然有效:如何区分「功能上很像理解」(弱涌现)和「真正的理解」(强涌现的候选),这正是意识难问题的 AI 版本。
这个区分的一个关键检验维度,来自对涌现能力的「反事实稳定性」(counterfactual stability)——如果改变训练数据中某些隐性模式,涌现能力是否依然存在?简单来说:你把一个模型训练到会做多步推理,然后把训练数据中所有包含推理过程的部分删掉,它还会不会推理?如果涌现能力在数据扰动下消失或大幅改变,这就进一步支持了弱涌现解读:它是对特定训练模式的复杂反映,而非系统本身获得的某种稳固属性。反之,如果能力纹丝不动,那弱涌现的解释就岌岌可危了。
04
为什么这个区分重要
读者朋友到这里可能会感到一丝焦躁:弱涌现还是强涌现,说到底不就是哲学家在争论一个词吗?但接下来的三件事,会让这个区别的重量变得具体。
第一,关于可预测性:如果大模型的能力跃升是弱涌现,那它原则上是可预测的,只是工具还不够好。这意味着「涌现是不可预测的」的主张,是暂时的无能,而非原则上的不可能。Anthropic 和 DeepMind 最近的若干可解释性(interpretability)研究,正是沿着这个方向——如果能在参数层面看到涌现能力的机制,弱涌现的推导路径就变短了。这类似于天气预报的改进:大气系统在原则上是由物理方程决定的(弱涌现意义上的决定性),但我们从「明天可能会下雨」到「明天下午 3 点降雨概率 83%」的精度提升,靠的不是发现新物理定律,而是更好的观测和计算工具。
想象 Anthropic 的一个具体场景:他们的可解释性团队正在逐层扫描一个大型模型的注意力头(attention heads),试图找到「多步推理」能力对应的电路。如果弱涌现的解读是对的,这个电路是存在的,只是藏得太深;如果强涌现的解读是对的,这个电路不存在——「推理」是某种不可还原的东西。两种解读指向两种完全不同的研究路线:一种是磨刀(把工具做得更细),一种是承认有东西磨不出来。差之毫厘,研究方向就可能谬以千里。

第二,关于安全含义:如果涌现是不可预测的(即使只是实践意义上的),那么规模增长就携带着真实的风险——我们无法事先知道下一个涌现能力是什么。但如果涌现是原则上可推导的(只是工具不足),那么更好的评估方法和可解释性工具就可以缩短这个不确定性窗口。这里的关键不是「可预测 vs 不可预测」的二元判断,而是「不确定性窗口有多宽」——弱涌现框架意味着这个窗口可以缩小,强涌现框架意味着它原则上无法关闭。对于 AI 安全治理来说,前一条路给出的是「我们需要更好的工具」,后一条路给出的是「我们需要在能力出现之前设定硬边界」——两种政策,截然不同。
第三,关于道德地位的隐含:如果某个大模型的能力是强涌现的——意味着它具有某种原则上不可从训练数据和参数推导的属性——这就意味着模型在某种意义上超出了对它的完整机械解释。这不直接证明道德地位,但开启了「也许这不只是一台复杂的计算器」的哲学可能性。这一维度与当前关于 AI 道德地位(moral status)的争论直接相关——如果能力的涌现是弱涌现,道德地位的论证就失去了一个可能的基础。换言之,本文的弱/强涌现分析框架,恰好为道德地位争论中的「强涌现论证」提供了一个判断工具:在证明「能力是强涌现的」之前,从「涌现能力」推导「道德地位」的论证是不完整的。
05
批评与限度
值得指出的是,这篇论文的「不可预测性」主张在发表后受到的挑战,在某种程度上正是哲学弱涌现论的实证佐证。Schaeffer 等人(2023)的批评不是否定「某些能力在低参数量时确实难以产生」,而是质疑「台阶状出现」是否是能力本身的性质,还是测量工具的产物。这恰好是弱涌现论的核心预测:原则上可推导,实践上难观察。
但这个批评本身也有限度。一个以更细粒度评估指标就消失的「涌现」,和一个以任何评估方式都呈现台阶的「涌现」,如果真的存在后者,那就是一个对弱涌现解读的挑战。O'Connor 在《涌现属性》(Emergent Properties, 1994)中提出过一个检验标准:一个属性是强涌现的,当且仅当它的出现不能被任何关于其组成部分的事实所预测,即使在理想化的认知条件下也是如此。按照这个标准,目前没有任何大模型的能力通过了强涌现的检验。
目前的证据支持弱涌现解读,但「弱涌现」不等于「不值得研究」。这篇论文最重要的遗产,也许不是「AI 出现了涌现能力」这个主张本身,而是它把「规模与能力的非线性关系」推到了前台——这是一个哲学和工程都需要认真对待的关系。大道至简,其义自现。

如果「涌现」在大模型里最终只是弱涌现,是我们测量工具的局限,而非模型本身的突变,这是否意味着,我们对 AI「突然学会推理」的惊讶,本质上是在惊讶自己的无知,而不是在惊讶 AI 的奇异?
参考文献
Bedau, M. A. (1997). Weak emergence. Noûs, 31(S11), 375–399.
Broad, C. D. (1925). The mind and its place in nature. Kegan Paul.
Deacon, T. W. (2012). Incomplete nature: How mind emerged from matter. W. W. Norton.
Humphreys, P. (2016). Emergence: A philosophical account. Oxford University Press.
Kim, J. (2005). Physicalism, or something near enough. Princeton University Press.
O'Connor, T. (1994). Emergent properties. American Philosophical Quarterly, 31(2), 91–104.
Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are emergent abilities of large language models a mirage? In Advances in Neural Information Processing Systems 36 (pp. 55565–55581).
Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022).
Emergent abilities of large language models. Transactions on Machine Learning Research.
作者简介
卓真,@哲学前沿philontier专栏作者
关注心智哲学与认知科学的交叉地带
本期责编 :边淮

文章精选:
1.图灵奖得主姚期智最新演讲: AI有边界,恰恰是好事

