图灵奖得主、强化学习之父Sutton：AI模型本身其实很脆弱！现在的AI，只是局部智能！真正的下一阶段是经验时代！

您想知道的人工智能干货，第一时间送达

当我使用“智能”这个词时，我指的是：通过适应行为来实现目标的能力。

你并不是简单地“智能”或“不智能”，而是在某种程度上具备实现目标的能力。 

心智（Mind）在进行智能行为时，真的需要生成图像吗？

答案是否定的。我们确实需要处理图像和视频，但并不需要生成它们。

然后，Sutton 对当下“AGI临近论”还泼了第二盆冷水。理由是，虽然现在的AI很强，但本质是“弱心智”。

他给了一个很犀利的说法：模型之所以显得强大，是因为它们吸收了几乎全部人类知识；除了这一点，生成式 AI 其实很脆弱。它们不可靠、容易跑偏、没有稳定目标结构。问题在于，现在的AI太多关注机器，而忽略了经验的学习。

大模型在部署后是冻结的，没有持续经验，没有真实奖励信号。没有奖励，就没有目标；没有预测与现实的对照，就没有“真理”。

换句话说，当前模型像一个读遍百科全书却没有生活经验的人。

因此，Sutton 表示，现代机器学习已经触及了时代的极限。当前AI本质是：把人类已有知识迁移进机器，训练完成后停止学习。而如今，人类高质量数据已经几乎用完了。

不过好处在于，AI 的风向已经出现了新的变化。Sutton 表示，真正的下一阶段是“经验时代”。他认为，只有从经验中学习，智能才能不断增长。

他把过去 10 年的AI发展分成三个阶段：模拟时代（如AlphaGo）、人类数据时代（LLM）、经验时代（智能体在真实世界持续学习）。

Sutton 认为，“智能研究”需要一个全新的“心智综合科学”（它既不完全属于自然科学，也不只是工程或技术应用。），而强化学习会是研究“心智综合科学”的起点。

其次，这位图灵奖得主，对于“集中控制AI”的做法表示反对。他表示，一些人不过是拿着“安全”当幌子试图“控制AI”，这种做法本质上有点类似“权力失控”的焦虑。“AI 本应该是去中心化协作式的。”

Sutton 呼吁AI合作，反对地缘的封锁和限制：

合作并非总是可能，但从经济交换到社会制度，从政府到市场，世界上几乎所有美好的事物都源自合作。

最后，你绝对想不到，Sutton也会发表“科幻视角”的判断。Sutton 表示，人类可能最终会走向被 AI 继任：人类终将理解并创造智能，而且这种智能会迅速超越人类。

Sutton认为，从宇宙尺度上看，这是一种必然演化。

同时，他还给出了四个宇宙伟大时代！粒子时代、恒星时代、复制时代、设计时代！小编听下来大呼烧脑。

篇幅关系这里不再一一展开了。

总之，Sutton的演讲有两条主脉络：

其一、智能的本质不在于模仿得“像人”，而是适应目标。我们已经迈进“经验时代”！

其二、AI是宇宙演变的必然，而人类至少是这个时代的催化剂、接生婆。我们终将促成宇宙的第四个伟大时代。

以下是小编梳理的精彩观点，enjoy！

很高兴能和大家一起交流。我听了上午的一些报告，过程中突然意识到：我想谈一些原本并没有准备好的内容。因此，今天我特意留出了一点时间，整理了几页PPT。在进入我原本准备好的发言之前，我想先说几句铺垫性的内容。

让我们先从这个领域的现状谈起：今天的AI到底是什么样的？人们又是如何看待它的？我想，几乎所有人都认为AI正在以极其迅猛的速度进步，这种看法当然令人兴奋。但当所有人都在想同一件事时，我们就有必要停下来问一问：事情真的如此吗？这真的是正在发生的吗？我们是否可以对这个判断提出一些质疑？AI真的在快速进步吗？

当然，在让计算机能够熟练使用语言这件事上，我们确实取得了巨大的进展。我认为这是一个非常重要、真正意义上的突破。事实上，不久之前我们就已经设想过可以用神经网络来完成这件事，而今天，它已经被充分证明是可行的。同时，我们也借助海量的计算资源，生成了极其逼真的图像和视频。

但问题在于：心智（Mind）在进行智能行为时，真的需要生成图像吗？

答案是否定的。我们确实需要处理图像和视频，但并不需要生成它们。这并不是心智本身在做的事情。这类任务需要巨大的计算量，也确实非常困难，但它们并不构成我们通常意义上所说的“智能”的核心组成部分。

当然，我们也看到了新的、真实的应用出现，它们催生了全新的产业形态，创造了巨大的经济价值。这些重要的进展，大多源自超大规模计算与超大规模模式识别的应用。但它们本质上是非常具体、局部的能力，并不能等同于“全部的智能”。其中相当大的一部分其实只是计算，而我们之所以称它们为“智能”，往往只是因为这样听起来更重要一些。

AI模型本身其实很弱

因此，我想向大家抛出一个问题：作为一门科学，AI真的在快速进步吗？
（现场响起了一片笑声）

谢谢大家的笑声，这让我感觉自己仿佛经历了一个奇迹。（笑声）在我并不那么谦虚的看法里，我们对AI的真正理解其实非常有限，更多是在不断地调参、修补。我们并不知道心智的原理，也不知道智能的根本机制。

从科学的角度来看，这在很多方面都是令人不满意的。我更倾向于用另一种方式来理解当下的AI模型：它们之所以显得强大，是因为它们汲取了几乎全部的人类知识；但除此之外，它们其实是“弱”的。它们拥有脆弱的心智结构，不可靠，容易偏离主题，容易发散。除了知识量极大这一点之外，它们并不真正强大。或许，这是理解当下所谓AI的一种更准确方式。

现在的AI，还算不上真正的智能

那么，我们口中的AI究竟是什么？

它是“人工智能”，而这就要求我们首先回答一个更基本的问题：什么是“智能”？多年来，人们给出过许多定义。我在这里列举一些更有权威、也更为广泛接受的观点。

最早的一个可以追溯到心理学奠基人威廉·詹姆斯。心理学几乎就是对心智的研究。1890年，威廉·詹姆斯并没有直接谈论“智能”（intelligence），而是谈“心智”。他认为，心智的标志在于：用可变的手段实现一致的目标。也就是说，为了获得一个相对稳定的结果，你可以灵活地改变自己的行动方式，而那个结果正是你所追求的目标。

接下来，我们可以看看艾伦·图灵是如何理解智能的。图灵并没有留下一个高度凝练的定义，但人们通常将他的观点理解为：智能在很大程度上表现为像人一样的行为。今天我们所说的“图灵测试”，正是这种思想的延续，即通过模仿、假装成一个人来判断是否具备智能。当然，图灵本人从未称其为“图灵测试”，他把它称为“模仿游戏”，而且我甚至不认为他把它当作一个真正的测试。

然而，在当下的语境中，人们往往将“像人一样的行为”视为智能的重要标准。但我并不认为这才是人类强大的根本原因。人类之所以强大，是因为我们本身是智能的存在，而不是因为我们像谁。我们确实会用“是否像人”作为参照，但真正重要的问题是：人究竟是什么？ 

如果你去查词典，可能会看到这样的定义：智能是获取并应用知识和技能的能力。我认为这是一个相当不错的定义，它强调了知识，强调了获取知识、拥有知识，以及技能的运用。

从AI的角度来看，作为人工智能奠基人之一，约翰·麦卡锡给出的定义是：智能是实现目标的能力中，可以被计算的那一部分。我非常喜欢这个定义，因此想稍微展开说明一下。它强调的是一种“能力”，而所有能力都是有程度差异的，并非非此即彼的二元判断。你并不是简单地“智能”或“不智能”，而是在某种程度上具备实现目标的能力。 

更重要的是，这个定义强调的是能力中“可计算”的部分。你并不是因为更强壮或者拥有更好的传感器就实现了目标，而是必须进行计算，必须完成某种心理层面的处理。正是通过这些计算过程，你才能实现目标。而“实现目标”几乎构成了整个定义的核心，这也正好呼应了威廉·詹姆斯所说的“以可变的手段实现一致的目标”。 

在此基础上，我也忍不住参与进来，对这个定义做了一点修改，提出了我自己的版本：智能是通过适应性地改变行为来实现目标的能力。

定义本身并不是唯一的，每个词都可能有多种解释。即便是权威定义也并非一成不变。定义的目的在于帮助我们彼此理解，只要能够促进沟通，它们随着时间变化完全没有问题。但如果对同一个词的理解差异过大，交流就会变得非常困难。

因此，当我使用“智能”这个词时，我指的是：通过适应行为来实现目标的能力。这里的关键在于“适应”。我认为学习至关重要，尤其是获取知识和技能的过程，而不仅仅是拥有它们。

当然，这一观点并非没有分歧。如果我们观察当前AI的主流路径，会发现它几乎完全围绕计算和模式识别展开，并且在很大程度上聚焦于“像人一样的行为”。

AI 太过关注机器

强化学习会是研究“心智综合科学”的起点

接下来，我想进一步谈谈我个人的看法。我认为我们需要一门新的科学——一种“心智的综合科学”。我一直试图从事的正是这样一种综合性的心智科学，它同样适用于人类、其他动物以及机器。因为这些心智在本质上具有共通性：人类与动物的心智高度相似，而机器的心智也开始显现出某些共同结构，至少我们有这样的雄心，认为在可预见的未来它们将具备这些共性。未来，世界上将存在大量的机器心智。

但现实是，并不存在一门天然承担这一角色的学科。心理学本可以成为心智科学，我也希望它如此，但随着时间推移，它越来越将自身限定为对自然心智的研究，研究人类和动物的心智，而不是研究“心智可能是什么样”，不是那种可以存在于机器中的一般性心智概念。人工智能关注的是机器，但它并不真正研究其他类型的心智，而且它也越来越工程化，重在“造东西”，而非理解它；同时，它几乎不包含对自然心智的研究。认知科学则分化成多个方向，但整体上仍然主要聚焦自然心智。

遗憾的是，这些领域似乎都无法真正承担起一种跨越不同载体、统一研究各种心智的综合性心智科学的角色。而我所从事的强化学习，也许正是这种综合性心智科学的一个起点，因为它确实横跨了多个领域。这就是我看待问题的方式，也许它只是一个开始。

强化学习的本质

那么，什么是强化学习？ 

我先简单说几句，这样大家也能更清楚我讨论问题的出发点。强化学习是一种以“智能体”为中心的学习方式，它通过与环境交互、从经验中学习，以实现目标。从这个意义上说，它比其他类型的机器学习更现实、更有雄心，也更加自主。因为智能体是真正在世界中行动的，它在做事情，并不假设一定存在一个辅助者。因此，它更加自主；同时也更有雄心，因为我并不假设世界会给予它大量帮助。你只是与世界交互，观察自己是否达成了目标，然后调整行为，以更好地实现这些目标。

从这个角度来看，这种学习方式也更加贴近现实。动物并不会从环境中获得太多帮助，也许在成长阶段会有一些，但在成年后的日常生活中并不存在。因此，强化学习的本质是试错，是通过延迟反馈来学习。你拥有的只有奖励：你最终是否得到了想要的结果？这是一种最接近自然学习方式的机器学习方法，它能够自行判断对错。

比如，大语言模型并不知道自己说的话到底对不对；而当你从经验中学习时，当你对即将发生的事情做出预测，你可以看到预测是否正确；当你采取行动并获得奖励时，你就能判断这种行为方式究竟是好是坏。

也许，这正是一种心智科学的起点：它既不完全属于自然科学，也不只是工程或技术应用。

我是不是还想补充一件事？是的，我想引用一句艾伦·图灵的话。图灵本人并不知道自己其实是一个“强化学习派”。这段话出自1947年，那时还没有强化学习，也还没有真正意义上的人工智能。据我们所知，这可能是世界上第一次公开讨论人工智能的演讲，发生在1947年的一次讲座中。

以上就是我原本想补充的内容。希望这些想法能让大家觉得有趣。

我们已经触及机器学习时代的极限

接下来，才是我今天真正想传达的信息。那么，我们直接进入正题。

第一个要点是：当今AI的科学发展趋势是什么？

核心结论是：我们正处在一个“从人类数据中训练”的时代。几乎所有AI系统，主要做的都是这样的事情——预测人类在互联网上的下一个词，或者预测人类会如何给图片打标签，然后再由人类专家进行微调，告诉系统“我更喜欢这个答案，而不是那个“我希望你这样说，而不是那样说”。

现代机器学习的目标，本质上是将人类已经拥有的知识迁移到机器中。一旦这种迁移完成，机器就会被“冻结”，不再继续学习。这正是当下大多数机器学习系统的状态：把我们已有的知识装进机器里，然后停止学习。这就是我们所处的时代。

而我认为，我们正在触及这一时代的极限。一方面，我们正在耗尽人类数据。几乎所有高质量的数据源，整个互联网及其图像和视频都已经被消耗殆尽。更重要的是，这种方法在原理上存在根本限制：它无法学到任何真正新的东西，无法产生真正原创的知识。

正如今天Terrence（陶哲轩）所说，在最困难的问题上，比如一些极具挑战性的厄多斯问题，这种路径并没有带来真正的突破。凡是需要“真正创新”的问题，基本都超出了这种方法的能力，因为它只是回顾互联网上人们已经说过什么，然后加以总结。

我们进入了经验时代：智能体从经验中学习

如果我们希望取得进一步进展，而事实上，我们已经开始这样做了，就必须进入一个新的时代：从经验中学习。归根结底，这是因为我们需要一种能够随着智能体能力提升而不断增长、不断改进的数据来源。任何静态的数据集，都不可能长期满足这一点。而来自自身经验的数据，本身就是动态变化的。 

人类和动物正是以这种方式学习的。AlphaGo下出富有创造力的第37手棋，正是源于这种机制；许多在数学奥林匹克竞赛中获胜的智能体，同样如此。

接下来，我想给大家播放一段视频，希望它能顺利播放。不过在此之前，我想先解释一下角落里的那张小图，澄清一个容易被误解的地方。当我说“从经验中学习”时，我并不是指某种模糊、玄学的东西，比如主观感受或“感质”。我指的只是智能体与环境之间来回交换的数据。

智能体会采取行动，也会感知环境。因此，这里包含三类信息：

第一，智能体从世界中获得的观测，也就是传感器数据；

第二，智能体发出的行动，比如肌肉的微小动作，或者向外界发送的电信号；

第三，世界返回的一种特殊观测——一个标量，也就是奖励。

这三者，构成了我所说的“经验”。这就是智能体在与世界交互过程中所能获得的全部信息。而这几乎是我们唯一能够真正确定的事情。因此，我们需要一种会随着智能体自身变化而不断增长、不断改进的数据集。接下来这段视频展示了这种机制在现实生活中的一种最重要体现。

画面中是一名婴儿，视频略微加速过，大家不必担心。你可以看到，婴儿在与各种玩具互动时，并不会只专注于某一个，而是玩一会儿就感到厌倦，随后转向下一个。每一次接触新的玩具，它都会学到一些东西——也许只是发现绳子可以拉、可以放进嘴里，或者可以用不同方式摆弄。但很快，它又会改变对象，通过改变自身的经历，看看还能从新的事物中学到什么。

这正是我们的数据来源。生命的数据并不是被“提供”给我们的，而是由我们的活动本身生成的。也正因为这些数据来自行动，它们才能与我们自身的理解水平、能力和技能自然匹配。 

我还放了另一个视频，用来展示一个智能体在迷宫中学习的过程。这是一个非常简单的智能体，它的目标是从起点S走到终点G。它对世界的认知极其有限：只知道自己当前所在的格子；它能执行的动作也只有四种：上、下、左、右。通过不断学习，它最终能够找到一条不错的路径。图中的箭头表示它认为的最优行动方向，绿色区域表示它对每个状态“有多好”的估计。

但世界并不是静态的，世界会发生变化，而我们也总是需要学习新的东西。

在这个学习过程中，我们可以再看一张示意图，它展示了智能体的基本工作方式。其中包含几个关键要素：右上角是对世界状态转移的模型；中间是策略，用来决定在每个状态下该做什么，对应图中的箭头；还有一个价值函数，用来评估每个状态的好坏，这正是图中绿色区域所表达的含义。

现在，如果我把目标位置移动到上方，智能体就必须重新“偶然”发现目标的新位置。一旦发现，它就能够再次学会通向目标的路径，并从环境变化中恢复过来。从某种意义上说，这就是生活的一个简化模型：你会遇到变化，然后适应它。

我们把目标放到角落里，它就学着调整；再把目标移到另一个位置，它就学会一条新的路径。我们甚至可以进一步干预，在路径上放置障碍物，它也会逐渐学会绕开障碍前进。

因此，我们会非常直观地感觉到：这个智能体是有目标的，并且会随着环境的变化不断调整自身行为，以尽可能实现目标。当然，目标也可能变得无法达成。当这种情况发生时，我们甚至会不由自主地对这个无法完成目标的智能体产生一丝同情。

我原本还准备了一个关于“试错学习”的演示，网上其实有一个非常好的示例，但由于没能把YouTube视频顺利播放出来，这一部分就先跳过了。不过，我想大家已经理解了什么叫“从经验中学习”。接下来，我们稍微抽象一点，谈谈其中的基本原则。

这种以经验为基础的AI方法，其核心原则在于：智能体与世界交换信号，这些信号本身就是经验，而经验构成了一切智能的基础和核心。

“真理”的定义，体现在这些信号之中；“目标”的定义，同样体现在这些信号之中。你希望奖励信号尽可能高——要么你达成了目标，要么没有。这个目标在某种意义上是主观的，只对智能体自身可见；但与此同时，它又是最客观的东西，因为它是智能体实际接收到的数据。

因此，我们可以说，一个智能体的智能水平，取决于它在多大程度上能够预测并控制自身的经验。需要注意的是，如果你没有经验，那就谈不上智能。

举个例子，大语言模型在运行时，并不会从经验中学习。经验是你“出生”后进入世界、亲自行动时才会产生的东西。而当一个大语言模型被部署到现实世界中时，它已经不再学习了，它是被冻结的、静态的。因此它并不真正拥有经验。它所拥有的数据，只能在一个特殊的训练阶段获得，那些数据只是人类过去如何在世界中行动的示例。当你真正走进世界、亲自去做事情时，并不会有人告诉你“你原本应该怎么做”。

没有经验，智能就无从谈起：你无法判断什么比什么更好，因为没有奖励就没有目标；而大语言模型并没有目标。你也无法判断一个预测是对是错，因为它从不将预测与真实发生的结果进行对照，于是也就不存在“真理”的概念。

但一旦有了经验，有了交互和由此产生的数据，目标就变得非常清晰：获取奖励；而“真理”的概念也随之出现，那是一种基于预测的真理。你做出预测，然后观察真实发生的结果，看看预测是否成立。

这正是经验式方法所带来的能力。我认为，这条路径正在变得越来越普遍、也越来越重要。回顾过去大约十年的发展，我们可以大致将其划分为三个阶段。最早的是“模拟时代”，我们从模拟环境中获取经验，比如AlphaGo、Atari游戏。随后进入的是更近一些的“人类数据时代”，也就是以大语言模型为代表的阶段。当然这种划分并不完全精确。我们已经看到，人们对大语言模型的狂热正在逐渐转化为对其局限性的清醒认知。

现在我们正迈入第三个阶段：“智能体系统”的阶段，让模型和智能体真正使用计算机、在现实世界中行动。我把这一阶段称为“经验时代”。在我看来，它将把我们带向一种超越人类的能力——这种能力不再只是模仿人类、受限于人类本身，而是真正能够超越人类。

好，先总结一下关于AI发展趋势的第一个要点：AI终于开始转向从经验中学习了。

要知道，艾伦·图灵在1947年就已经设想过这条道路，而那已经是很久以前的事情了。直到今天，我们才真正开始去做这件事，而不是继续完全依赖人类输入。这种转变将带来更强大的能力，因为它意味着持续学习新的东西。

AI远没有进入“主场时刻”

AI已经强大到不可思议的程度。它在很多方面仍然脆弱、不可靠；但与此同时，它也极其有用，已经点燃了一个完整的产业，创造了巨大的经济价值，而且几乎人人都可以使用。这种普及性让公众感到兴奋，也促使人们开始认真思考：有一天，机器是否可能拥有与人类相当的能力。

在某种程度上，它是通过制造恐惧引发这种关注的，人们未必真的需要害怕，但确实应该保持关注。至少，它成功地让所有人开始正视这个问题，这本身是一件好事。

不过，我们还远没有进入所谓的“主场时刻”。尽管存在各种夸大的说法，我们并没有真正到达创造超级智能AI、或“超级智能增强人类”的阶段。一旦那一刻到来，它将是一件非同寻常的大事，会带来极其深远的变化。

AI应该是去中心化的，不应集中控制

你只要看看当下，就会发现大量关于“控制AI”的呼声：比如，只允许AI拥有经过人类审核和授权的目标；呼吁暂停甚至停止AI研究；已经出现了一些法律，用来限制AI可使用的计算能力；以及各种所谓的“安全研究机构”。很多人口中的“安全”，其实真正指的是“控制”。他们通过让你害怕AI，宣称它不安全，然后提出应当由他们来掌控。

我们或许也应该对AI抱有某种同理心。现实世界中，同样存在对言论的控制——你能说什么、能听什么；存在贸易管制和关税，限制你能在哪里工作；还存在资本管制，以及针对不同国家的经济制裁。

我的核心观点是：对AI的集中控制诉求，与对人类的集中控制诉求之间，存在着一种惊人而诡异的相似性。它们都建立在恐惧之上：要害怕AI；要害怕某些国家、某些群体；说你不能信任他们，说他们几乎不像人，说他们是“坏的”，不爱自己的孩子，不会感到痛苦（笑）。同样地，人们也在说AI不会感到痛苦。总之，这些论调极其相似，而我认为我们应该警惕并抵制它们。

因为我相信，人类的繁荣，以及人类与AI的共同繁荣，来自于学习，也来自于接受这样一个事实：我们应当以去中心化的方式与AI协作，而不是依赖庞大的控制型组织。

这些正是我没有展开的那部分幻灯片所想表达的核心思想。人类在合作方面既非常擅长，也非常糟糕——战争正是“不合作”的极端表现。合作并非总是可能，但从经济交换到社会制度，从政府到市场，世界上几乎所有美好的事物都源自合作。我们必须主动去寻找、去支持合作。如果我们足够警觉，就会发现，谁在呼吁不信任、呼吁不合作。而“不合作”的另一面，往往正是集中控制。我认为，我们应该抵制这种倾向。这也是理解人类与AI互动问题的一种重要视角。以上就是我非常简略的政治看法。

不应害怕AI，因为是人类在创造它

接下来，我确实想谈谈AI的哲学问题。AI正在发生，而且明天会发生得更加深入。那么，我们究竟该如何看待它？我想提出一个最根本、也最困难的问题：它究竟是好是坏？我们是否应该害怕它？它会夺走我们的工作，让我们变得多余吗？还是说，我们会成为AI的一部分——成为被技术放大和增强的人类？AI是入侵者，还是我们的“孩子”？我们会为它哀叹，还是为它庆祝？它是“我们”，还是“不是我们”？我认为，这正是最根本的问题。

我希望大家首先意识到，我们经常被要求不要去思考它，而只是被告知应该害怕它们，因为它们“不是我们”，像是外星来物。但请记住，是我们在创造它们。理解我们的心智，本身就是最具人类特质的行为。

那么，该如何思考呢？

你们大概已经能看出我的立场。这并不是什么“外星科技”，而是人类自古以来一直在做的事情。几千年来，我们始终在尝试理解自己：理解人类的智能，理解心智如何运作，以及如何让我们的心智运作得更好。这是一项极其宏大的追求——理解我们自身。

我很喜欢库兹韦尔的一句话：智能是宇宙中最强大的现象，而我们正是它最好的例子，因此我们理应去理解它。这是一件极其重要的事情。理解智能，几乎是科学的“圣杯”，也是人文学科的“圣杯”。这是一个伟大而光辉的目标，作为学者和思考者，我们应该享受它、庆祝它，并努力推动它向前发展。

人类正在走向被AI继任的过程

不过，先暂时放下“我们是否希望它发生”“如果发生会不会很可怕”这些价值判断。让我们只做一件事：预测它将如何发生。我提出几条“现实主义的AI预判原则”，有点类似约翰·米尔斯海默在讨论现实主义地缘政治时的思路。

我们只谈现实：什么是真正会发生的？哪些事情是我们无法完全控制的？

第一，关于“世界应该如何运转”，并不存在共识。多种意识形态并存，没有哪一种观点占据绝对主导；宗教之间同样彼此不一致；不存在一个能够压倒其他所有立场的统一世界观。

第二，总有一天，人类会对智能有足够深入的理解，深入到可以用技术去创造它，而且我们一定会这么做，至少其中一部分人一定会。

第三，这一过程不会停留在当代人类智能的水平上，而是会很快远远超越它。我们将面对超级智能的存在，无论它们是否被称为“人”。

第四，随着时间推移，权力和资源往往会流向更智能的存在。

把这四点放在一起，我们会看到一幅清晰的图景：人类正走向被AI 继任的过程。我认为这是一个合理的判断。但我们也必须意识到，这种说法本身是高度以人为中心的。我们总是在关心“我们会变成什么样”。或许，我们需要稍微退后一步，从更宏观的视角来看待这一切：宇宙如何看待这一过程？它在整个宇宙的演化中扮演着怎样的角色？

宇宙的四个伟大时代

接下来，我要把视角拉得非常宏大了（笑）。我想从宇宙的尺度来谈一谈所谓的“四个伟大时代”。

第一个是粒子的时代：大爆炸之后，宇宙中几乎连原子都不存在。随后，物质坍缩形成恒星，我们进入恒星时代。恒星形成、升温、爆炸，并在这一过程中合成更重的元素。接着，当有了更重的原子和行星之后，生命才得以出现。我把这一阶段称为“复制者的时代”，而不是简单地称为“生命时代”。

我认为，这个“绿色时代”真正特殊之处在于：出现了能够复制自身的存在。它们未必理解任何事情，但却能够制造自己的副本。就像我们自己，并不真正理解身体如何运作，不理解器官、大脑或智能如何产生，却仍然能够创造出更多智能体——我们生育孩子，并将他们抚养成人。

这便引出了宇宙的第四个伟大时代：技术与创造之物的时代，我称之为“设计的时代”。在这个时代，事物不再只是通过复制而存在，而是先存在于某个复制者的心智之中，然后才进入现实世界。你环顾这座礼堂，建筑在被建造之前就已经被设计出来；椅子、你穿的衣服，几乎所有东西都是如此——它们先存在于某个人的头脑中，然后才成为现实。

唯一的例外是人类本身：人是通过复制而来的，而不是先以设计的形式存在于世界之中，只是最初存在于父母的想象里。

正因为如此，我更愿意把这两个阶段称为“复制的时代”和“设计的时代”。将它们简单称为“生命时代”和“机器时代”已经过时，而且容易误导——因为我们的机器正变得越来越像生命，而我们也越来越多地将生命理解为一种生物机器。

机器与生物的区别：复制和设计

那么，真正的区别是什么？

真正的区别在于：生物体是在没有任何心智理解其自身运作方式的情况下被创造出来的。它们几乎像复印机一样被复制出来，所以说你并没有“创造”那幅图像，只是复制了一份。

技术机器则不同。它们首先存在于某个心智之中，也就是设计者的想象里，随后才在现实世界中被制造出来。因此，它们是被“设计”出来的。一个非常重要的区别在于，被设计的事物更容易发生变化，也更容易被持续改进。这正是我使用这些术语的原因。从这个角度来思考问题，其实相当有启发性。

接下来，我们可以借助这些概念做一个简单的思考练习。我们会发现，许多非人类的复制者在某种程度上同时也是设计者。比如，动物会筑巢、打洞，人类会建造房屋；许多动物还会制造工具，例如黑猩猩会把树枝剥去外皮来钓白蚁，乌鸦会把树叶加工成细条来钓蛆虫。当然，人类会制造石斧，那是我们最早、也是最重要的工具。随后出现了农业用的犁，再往后是计算机、宇宙飞船、工厂和软件，其中很多本身就是“制造其他工具的工具”。 

人类的特殊之处：把设计推向极致

在这一基础上，我们或许可以回到最初提出的那个问题：人类是什么？我们是谁？我们在宇宙中扮演着怎样的角色？也许，我们可以尽量保持冷静，不过分自大，也不过分强调自身的重要性来回答这些问题。

我们都隐约意识到，人类是特殊的。我们不仅只是一种复制者，而是一种非常特殊的复制者。我此前已经暗示过这种特殊性所在：我们把“设计”这一能力推进到了前所未有的高度。我们本身是通过复制而来的，我们自己就是复制者；但与此同时，我们也具备设计能力，并且将这种能力发展到了远远超过任何其他复制者的程度。

那么，如果把“设计”这一能力推到极限，会意味着什么？

如果把它彻底走到尽头，会出现怎样的结果？在我看来，把设计推到极限，意味着设计出那些本身也具备设计能力的存在。换句话说，我们在自己的头脑中设计出一些事物，而这些事物本身，也能够在它们自己的头脑中进行设计。它们拥有心智。

这正是我们在AI上正在做的事情。我们正在完成这个伟大的时代——也是最后一个时代。因此，我认为，人类至少是这个时代的催化剂、接生婆，或者说奠基者：我们促成了“设计时代”的到来，也就是宇宙的第四个伟大时代。这就是我们的角色，一个重要的角色，一个具有普遍宇宙意义的角色。

总结：AI是宇宙发展的必然，我们该为此自豪

最后，我想简要总结一下我的三条核心信息，包括刚才那一条我讲得相对较快的观点。

第一，当下的AI也就是2020年代的AI，仍然处在“人类数据的时代”。它已经表现得非常出色，也非常强大；但我们正在进入一个新的“经验时代”，而这一阶段将更加强大，因为它能够持续学习新的事物。

第二，在政治层面，当下围绕AI的政治讨论，实际上是人类自身政治的映射。在所有情况下，我们都应当追求去中心化的协作，而不是中心化的控制。

第三，在哲学层面，我认为AI是宇宙发展过程中不可避免的下一步。我们应当以勇气、自豪感和冒险精神去拥抱它。

感谢大家的时间。

参考链接：

https://www.youtube.com/watch?v=lieqoaBV6ww

文章精选：

1.强化学习之父、图灵奖得主 Sutton 隔空回应 图灵奖得主Hinton：目前的 AI “理解不足，调参有余”