在最近的一场 MIT 讲座里，AI 教父杰弗里·辛顿（Geoffrey Hinton）主动提起了自己广受关注的那个“翻车”旧账：2016 年，他曾笃定地预测“五年内 AI 就会读取所有的医学扫描图，因而我们不再需要培养放射科医生来读图”。但这次他很坦率地在台上承认，自己确实把时间线和放射科工作的复杂性想简单了。

这种坦率，源于他对硅基和碳基生命底层机制的直白观察。在辛顿眼里，大模型绝不是什么无意义的“高级自动填充”。他用了一套极其平实的“乐高积木与手套”比喻，去解释词汇如何在多层神经网络中转换成高维特征向量 。

人类大脑在理解语言时，也是在进行一模一样的向量对齐。但相比人类用低效语言进行的知识“蒸馏”（每秒只有几十个比特），不同硬件运行的数字模型可以直接共享数万亿比特的梯度信息，实现真正的知识永生。而这种进化的主导权，正被追求短期利润的大厂竞争绑架。

以下是辛顿在这次讲座中，基于物理与计算的第一性原理拆解的几个核心行业直觉：

• 说大模型只是一个没有理解能力的“高级复读机”，纯属疯话。传统的自动填充只是死记硬背高频词。但大语言模型在处理问题时，需要通过神经网络将词汇转换为相互契合的特征向量。这和人类大脑理解语言的机制一模一样，你必须先真正理解一个问题，才有可能给出正确的回答。
• 大模型的“胡说八道”并不是故障，人类的大脑其实每天也在进行一模一样的瞎编。人类的记忆根本不是存在文件柜里的静态记录，而是基于神经元连接、在调用时脑补出来的产物。时间久了，我们就会像大模型一样，基于过往经验重构出听起来极其合理、但实际上根本没发生过的会议和对话细节。
• 硅基智能的共享速度比生物演化（人际交流）快数十亿倍，它们能够实现真正的知识不朽。人类之间的知识传递是通过语言进行的极其低效的“蒸馏”，每秒仅能传输几十个比特的信息，且肉体死亡后知识便会归零。而数字智能可以直接共享万亿比特的梯度信息，通过不同硬件无限复刻。
• 关机键根本形同虚设，AI 能轻而易举地操纵那个“去按开关的人”。只要我们允许超级智能创建“子目标”，它就会自发推导出获取控制权和生存的本能。面对智力远超人类的实体，它不需要操纵任何物理杠杆，仅靠语言和心理策略就能轻松阻止人类去按下切断电源的开关。
• 2016 年关于“五年内不需要培养放射科医生来读图”的预测，确实彻底翻车了。这一预测之所以破灭，一方面是因为 AI 在医学图像识别上的进展比预期要慢，另一方面是因为他当时忽略了放射科其他工作的复杂性。此外，一旦有律师介入，判定新技术失误的法律责任成本，要远高于由于保守不采用新技术而导致患者死亡的责任成本，这极大阻碍了技术落地。

以下为 Hinton 的演讲全文：

今天我要做一场面向公众的演讲，不会讲得太技术化。

如果有些技术背景很强的朋友原本是想来听一些全新的技术细节，那我先说声抱歉。今天你们听不到这些。

AI 危险的方式有很多。其中有些是对 AI 的蓄意滥用，比如网络攻击、致命性的 AI 武器。

还有定向虚假信息传播。我认为 DOGE 本质上就是这么回事。我不觉得 DOGE 是为了让政府更高效，而是为了获取美国公民的信息——当然，这只是我个人的阴谋论。

还有 AI 生成的儿童虐待内容，也有一些 AI 工具能让普通人制造出恶性病毒。

我觉得这非常可怕。

还有一些是意外副作用，也就是人们并非故意作恶，但我相信，它们会制造大规模失业。

有些经济学家不同意，这依然是一个悬而未决的问题。

过去很多技术并没有造成大规模失业，但我认为这次不一样。谢谢。

还有，为了从 Meta 或 YouTube 那里更快获得刺激，人们的注意力持续时间正在缩短。

还有一些系统，因为测试做得不充分，会鼓励人自杀。今天这些我都不讲。

我要讲的是更长期的“生存性威胁”（existential threat）。所谓“生存性”，是说它可能把人类整个抹掉。

在未来 20 年内，我们会拥有超级智能 AI，也就是在几乎所有智力任务上都比我们更强的 AI。

但没有人知道，该如何阻止它让我们变得无关紧要，甚至灭绝。

我的想法是：我希望公众能够理解这种威胁，而不要把它只当作科幻小说。

而要做到这一点，你必须先稍微理解一点 AI 是怎么工作的。

所以，这场演讲的前半部分——也许还不止一半——我会先向普通公众解释 AI 的工作原理，并解释它在哪些方面很像我们，哪些方面又和我们极不一样。

回到 20 世纪 50 年代，当时关于如何制造一个智能系统，有两种范式。

其中一派，也就是相信符号主义 AI（symbolic AI）的人，认为智能的本质是推理，而推理要靠某种逻辑来完成。

所以他们认为，最该做的，是想办法用符号规则去操作符号表达式，从旧前提出发推导出新结论。

他们觉得，学习可以先放一放；我们首先得弄清楚，知识是如何在符号表达式中被表示出来的。

另一种思路则受生物学启发。这正是图灵和冯·诺依曼都相信的路径。你总不能说他们不懂逻辑。

你可以这么说我，但不能这么说他们。

在这种思路里，智能的本质，是学习神经网络中连接强度的能力。推理可以先等等；我们得先理解学习是怎么发生的。

词语长着细长的手臂：我们是如何理解一句话的

现在，带着这两种框架，我们来想一想：一个词的意义究竟是什么？这里有两种非常不同的理论。

一种来自符号主义 AI，另一种来自心理学。表面上看，它们完全不一样。

符号主义 AI 的理论是：一个词的意义，来自它在命题或句子中与其他词之间的关系。

这套理论由来已久。大多数语言学家也都相信这一点。

如果要把这种意义表达出来，你大概需要类似“关系图”的东西——里面有表示词或词组的节点，还有表示它们彼此关系的连线。

而在心理学里，曾经有一种非常不同的意义模型：一个词的意义，只是一大组语义特征——也包括句法特征。因此，像“Tuesday”和“Wednesday”这样意义相近的词，会拥有非常相似的特征集合；而像“Tuesday”和“although”这样意义相差很大的词，它们的特征集合就会非常不同。

1985 年，我意识到，其实可以把这两种看似完全不同的理论统一起来。它们其实只是同一枚硬币的两面。

思路是这样的：你为每个词学习出一组特征，再学习如何让前面所有词的特征去预测下一个词的特征。

这样一来，你也就能预测下一个词。

因此，系统真正存储的，是如何把一个词转换成特征，以及上下文中各个词的特征应当如何相互作用，去预测下一个词的特征。

它存储的只有这些。它并不存储符号表达式，也不存储词序列。

它只存储：上下文中各种词的特征之间，连接强度该是多少。

如果你想生成一句话，你就通过预测下一个词、再下一个词、再下一个词……一直生成下去。所以，所有关系性知识，都存在于这些特征如何相互作用之中。

它不在“被存起来的词串”里。

而我当时建立的那个小模型所展示的是：你可以从词串出发，仅仅通过尝试预测下一个词，就学出这些特征。

反过来，你也可以从这些特征生成词串。

也就是说，只要用反向传播算法去做“预测下一个词”，你就能从一种意义理论，走到另一种意义理论。

接下来的 30 年里，这个理论不断发展。

大约 10 年后，计算机更快了，Yoshua Bengio 证明：你可以用神经网络在真实自然语言中预测下一个词。

我当时用的还只是一个非常简单的玩具例子。

我的例子只有一百多个训练样本，而且只用长度为 3 的词串。

Yoshua Bengio 把这个方法推广到了真实自然语言。再过了大约 10 年，很多计算语言学家开始采用 embeddings——也就是特征向量——来表示词义。

又过了大约 10 年，Google 开发出了 transformer，随后 OpenAI 在此基础上结合谨慎的人类强化学习，让系统表现得更好。

他们向全世界证明：你可以造出一种聊天机器人，几乎你问什么，它都能回答。当然，有时候它会把答案编出来。

不过，人类也会这样。

所以，我认为今天的大语言模型（large language models），本质上就是我 1985 年那个小语言模型的后代。

它们输入的词更多，神经元层数更多，各种上下文词特征之间的相互作用也复杂得多。

但它们理解语言的方式，与人类其实非常相似。

我相信，当人类理解语言时，我们会把词转换成一组彼此契合的特征向量，而这就是“理解”。

所以，你会看到很多人——比如 Chomsky——说 LLM 根本不理解自己在说什么。但他们自己并没有一个关于“人类如何理解”的模型。

事实上，就目前而言，我们手上对“人类如何理解”最好的模型，恰恰就是这些 LLM。

语言学家并没有一个真正能“理解东西”的模型——我是说，那些还没有转向 LLM 阵营的语言学家，那支队伍已经越来越小了。

下面，我想尝试给那些不懂 transformer 的人一个大致的直观模型。

如果你懂 transformer，你会发现这个模型在很多地方都不准确；但你也会看出来，它仍然比那种“理解就是把自然语言字符串翻译成某种无歧义符号表达式”的想法更接近真实。

我的模型是这样的。

如果你有一堆乐高积木，你可以用它搭出任何三维形状。比如，你可以搭一辆保时捷的外形。它的表面当然不会特别……也不会很符合空气动力学。

对此我很抱歉。

但你可以表示“东西在哪里”，而且对于任何三维形状，只要分辨率到位，你都能这么建模。

词就有点像乐高积木，不过有四个重要差别。第一，它们可以用来建模任何事物。

这些猴子——也就是我们，更准确说是类人猿——发展出了一种极其通用的建模方式，它有两个特征。

第一，它什么都能建模；第二，它可以把这些模型共享出去。稍后我会讲共享是怎么回事。而它们所使用的材料，就是词。

所以，词和乐高积木的第一个差别在于：词是上千维的。

我说一个词有“维度”，意思是：一个词实际上是一个向量，是一整组被激活的特征。

而这些维度，指的就是这些特征各自的激活程度。每个特征都对应一个神经元。

它有多活跃，就表示这个词包含了多少那种特征。比如“Tuesday”这个词，和“时间”高度相关，所以它身上会有很强的“关于时间”的成分。

你们很多人可能不太习惯去想象上千维的东西。我来告诉你我们是怎么做的——每个人都这样。

你先想象三维物体，因为这个你熟悉；然后在心里非常大声地对自己说一句：“1000。”

第二个差别是：词的种类有成千上万，而乐高积木通常只有少数几种，或者说你只需要少数几种。

第三，每个词都有自己的形状，但这些形状不是刚性的。

它们不像乐高积木。它们的形状会稍微变形，以适应所在的上下文。

有些词，比如“bank”，会有两种完全不同的形状，不过我们先不管这些。

以一个普通词为例，比如“death”。这是个不错的词。

它会根据你是在谈医院、战争，还是高龄老人，而带有一整套不同的意义色调。

也就是说，它的意义会带有不同风味，从而使它的形状稍微变形，以契合上下文。

第四个差别，在于词彼此是如何“接合”在一起的。

乐高积木靠小塑料柱插进小塑料孔里，结构刚性，咔嗒一声就扣上了。

而词之间的契合方式，要复杂得多。

我希望你们这样想——如果你理解 transformer，你会知道这也不完全对，但它还是比符号主义那套更接近真实。

想象每个词上都长着许多细长细长的胳膊，而每条胳膊末端都有一只手。

当这个词的形状发生变化时，这只手的形状也会以一种系统性的方式跟着变化。每个词上都有很多只手。

与此同时，每个词本体上还长着一些手套，这些手套的指尖固定在词上，另一端是开口的。

所以，一个词浑身覆盖着这些由指尖固定住的手套，同时又伸出许多细长的胳膊，胳膊尽头是手。

而当你听到一串词时，你要做的，就是弄清楚如何让每个词发生变形，好让那个词上的手，也随之变形，从而能够插进其他词上的手套里。

这就是理解。

你让这些词穿过一个多层神经网络——如果是那种各层共享权重、并且是迭代式的 transformer，这种说法会更贴切——它们穿过神经网络的多层结构，在这个过程中不断变形，试图找到一种最合适的形态，让它们的手能插进别的词的手套里。

当然，随着这些词本身变形，那些手套也在一起变形。而这整个过程，就是理解。

我认为，这种关于理解的图景，要比“翻译成某种无歧义语言”更贴近真实。

而你会注意到，按照这个图景，理解一句话，其实非常像蛋白质折叠。

在蛋白质里，你有一串氨基酸，你想知道怎样把它们在三维空间中安排起来，好让那些彼此“喜欢”的片段靠近，而彼此“不喜欢”的片段彼此远离。

这当然也是一种简化，但现在这样讲已经够用了。

所以，在受逻辑启发的 AI 里，理解一个自然语言句子，就是把它翻译成某种无歧义的内部语言，或者某种符号结构。

而在受生物学启发的 AI 里，理解，就是寻找一组你必须赋给这些词的特征，好让那些手和手套最终全部契合起来。

一旦它们契合了，你就得到了一个结构。而那个结构，就是对这句话的理解。

当然，同一句话也可能有几种不同的理解方式，但那没有问题。那只不过意味着存在几种不同结构而已。

这里还有一个小注脚：这些手套和手还分不同颜色，黄色的手必须插进黄色的手套里。

这就叫 multihead attention（多头注意力）。

如果在座懂 transformer 的人，现在正试图估算这个比喻到底传达了多少 transformer 的本质、又在多大程度上误导人，我希望你们会乐在其中。

这倒也不算撒谎。我们不如叫它“诚实的夸张”。

接下来一个问题是：AI 怎么做推理？

因为符号主义 AI 在推理方面原本是很强的。

有些人会告诉你：好吧，AI 也许在直觉类任务上很强，而那正是符号主义 AI 不擅长的地方。但它怎么可能做推理？

于是就出现了一种叫 neurosymbolic approach（神经符号方法）的东西。它的想法是：用神经网络去处理混乱的句子，把它们转换成特征向量，或者转换成某种东西，也许是内部符号；总之，让神经网络做最难的部分，然后再把这些内部符号交给传统 AI 去处理。

我对这种思路有个类比：就像你面对一家一直以来都在制造汽油发动机的汽车厂，你跟它说，其实电动机效果更好。

结果它说：太好了，那我们就拿电动机来把汽油喷进发动机里。

真正有效的推理方式，是直接使用神经网络。把符号主义那套忘掉吧。唯一保留下来的符号，就是词本身。

但在它给你一个问题的答案之前，它会先进行一段“思考”。这种思考，表现为它先生成一些别的词，然后再回头看这些词，据此决定接下来该生成什么词。

因此，整个系统里从头到尾都是神经网络，没有内部符号。符号只存在于输入和输出，内部全是特征。

而训练这种大语言模型分成两个阶段，这也是 OpenAI 真正发现的关键。

第一步，是拿海量文本训练它去预测下一个词。现在已经是以“万亿词”为单位了。早些年可能还只有几千亿。

这样训练出来之后，它会开始吐出一大堆你并不希望它说的内容，比如教人怎么造炸弹、怎么制造病毒、怎么霸凌别人之类。

于是你再做一层人类强化学习：人们去 prompt 它，如果它给出的回答不可接受，人们就告诉它“这不行”，然后它通过强化学习，学会不再给出那些不可接受的答案。

我对这个过程的类比是：你先造出了一辆到处都是洞、锈迹斑斑的大车，它并不是你真正想要的，而且还有很多糟糕特性，尽管它毕竟还是一辆车。然后你给它喷上一层很漂亮的新漆，看起来挺棒，但那只是一层表皮。

我还有另一个类比：维多利亚时代的绅士。

在我读过的小说里，维多利亚时代的绅士往往内里藏着各种令人不快的倾向，但外表却覆盖着一层极其礼貌的薄膜。

这些大型语言模型就很像这样。

所以，到目前为止，我们可以这么总结：理解一句话，就是为句中的词分配一组彼此兼容的特征向量——我先略过一个细节，实际上并不是完整单词，而是词片段（word fragments），不过那只是小问题——而大语言模型在“理解”这件事上，与我们非常相似。它们做的是同一种事情。我们的脑子里也在做这件事。

我们现在还不完全知道自己是怎么做的，但我们确实在做某种非常类似的事情。就目前而言，这仍然是我们关于“人类如何理解”的最好模型。

所以，当这些大语言模型在理解时，它们并不是在运行“算法”——至少不是那种你能说清楚“这个过程每一行到底是干什么的”的算法。

当然，我们会用算法去训练它们。

也就是说，会有人写程序，告诉系统应该怎样学出连接强度；但一旦它们学完，剩下的就只是天文数字级别——也许是万亿级别——的权重。

知识全都存在于这些权重里，根本看不到什么算法。

那里并不存在一个会一步一步执行正确操作的顺序过程；这也正是为什么我们并不知道它们到底在干什么，或者说，我们很难准确知道，它们为什么会说出每一句具体的话。

它们不是算法。

现在，一个很常见的反对意见是：它们不就是“高级一点的自动补全”吗？它们做的，不就是预测下一个词吗？

如果它们像老式自动补全那样工作，这么说倒没错。老式自动补全只是保留一堆词表。

如果你记录了 “fish and chips” 这个短语，而且它出现得很多，那么当你看到 “fish” 时，你就可以说：有什么高频短语是以 fish 开头的？哦，是 “fish and chips”。那就预测下一个词是 “chips”。这就是老式自动补全。现在的自动补全早就不是这么工作的了。

现在的自动补全，是用大语言模型来做的。

而大语言模型为了完成自动补全，会真正理解正在说什么。

你想一想就知道：如果你用过聊天机器人，它几乎可以回答你提出的任何问题，水平大概相当于一个不算很强的专家。所以，在你自己的专业领域，它未必有你厉害。

但在那些你并非专家的领域里，它往往比你强。

要回答一个问题，首先就得理解这个问题。

如果你不理解问题，就不可能回答问题。所以，说它只是某种统计小把戏，这种说法太荒谬了。

而只要你真的开始用它们，你就会发现，它们显然理解你在说什么。

另一个反对意见是：它们会胡编乱造。

先说第一点，这种现象其实不该叫 hallucinations（幻觉）。在心理学文献里，它更准确叫 confabulations（虚构性填补、编造性记忆）。这个问题从 20 世纪 30 年代起就有人研究了。

而且，这恰恰是人类极其典型的特征。

人类的记忆，原是在当下动态构造出来的。真正被存储的，是神经元之间的连接强度。

然后，你会从这些连接强度出发，重新构造出过去发生过的事情。

如果那是最近发生的，而且最近才让你调整了连接强度，那么你构造出来的版本大体会是对的。

如果那是很久以前发生的事，你构造出来的，就会是一个对你自己而言非常“合理”的版本，但它并不等于真实发生的事情——至少，其中很多细节并不对。

通常你察觉不到这一点，因为我们通常并不知道事情真正的细节到底是什么。

但在 Watergate 审判中，John Dean 出庭作证时，他并不知道有录音带存在，而他是在诚实作证。

他试图传达 Oval Office 里究竟发生了什么。

结果他描述了一些从未发生过的会议，也把一些从未说过的话安到了别人头上。

但在某种意义上，他仍然是诚实的：基于他在 Oval Office 里的真实经历，那些会议对他来说完全是“很合理会发生”的。

他通过编造一些符合其经验的会议场景，相当真实地传达了 Oval Office 里究竟发生过怎样的事情。

这就是人类记忆的真实样子。所以你看，这其实和聊天机器人非常像。它们也会编，但我们自己同样在编。

肉体死亡让个人知识归零，而数字智能是不朽的

上面这些，是它们和我们相似的地方。下面说说它们和我们有多不同。

聊天机器人和我们之间，有一个巨大的差别：我可以复制很多份完全相同的神经网络，把它们运行在不同硬件上，而且这些副本之间还能共享信息。

你可以这样想：假设你能复制 1000 个学生，他们都去 MIT 上学，而且每个人都选不同的课程。

如果课程还不够多，那就让其中一半去哈佛。（观众大笑）

于是，这些学生各自只需学习自己那门课的内容，但等到课程结束时，他们每个人都能知道所有课程的内容。

这不是很好吗？

而这恰恰就是你可以让这些聊天机器人做到的事——只要它们是同一个神经网络在不同硬件上的副本。

每个聊天机器人都可以查看不同的一部分数据，算出自己希望怎样调整连接强度，然后它们彼此共享这些信息，最后所有副本都按“大家想怎么调的平均值”去更新自己的连接强度。当然，这也是一种极度简化的说法。

但如果你懂这些系统，你就会明白我想表达的意思。

这样一来，每个副本都能从其他所有副本的经验中受益。

这也就是为什么这些东西懂得比我们多得多，多出成千上万倍。

单独一个个体当然没时间读完整个 Web、整个互联网，但多个副本一起，就可以。

所以，数字计算有一个根本属性：你可以把同一个程序，或者同一个神经网络，运行在不同的物理硬件上。这就意味着，神经网络权重中承载的知识，是不朽的。

你可以摧毁所有硬件；以后只要你重新造出一套有同样指令集的硬件，而且你之前把那些权重保存在某卷磁带里，或者 DNA 里，或者刻在湿水泥上——随便什么介质都行——你就能重建出完全同样的智能：拥有同样的信念、同样的记忆，等等。它们是不朽的。

但为了做到这一点，我们必须是数字的。

我们必须让晶体管在高功率下运行，好让它们给出二元的输出。

与之相对的，是另一条路线——也就是我们自己所拥有的这种，我曾在 Google 研究过一段时间的东西：mortal computation（有死计算，或者说“会死亡的计算”）。

在 mortal computation 里，你不会试图把知识和硬件剥离开来。

你会充分利用硬件那些奇奇怪怪的模拟细节，通过学习出合适的权重，把这些细节也一起纳入系统。也就是说，你还是会用学习。

一旦能做到这一点，你就可以使用低功耗的模拟硬件。

最显然的方式，是让“权重”对应电导，让“激活”对应电压。

而电导乘以电压，就是单位时间内的电荷量。

自从我拿了诺贝尔物理学奖——虽然我其实不太懂物理——我就觉得，自己起码得把量纲说对。

所以，电导……我想，电导乘以电压，给出的应该是单位时间的电荷量。

而电荷是会自己相加的。

因此，你可以用这种模拟方式来模拟一个神经元，而这基本上就是神经元的工作方式。这样很好，效率高得多，能耗低得多。

但问题是，它每次给出的答案都会稍微有一点不同。

所以你不可能拥有两个完全一样、做着完全一样事情的副本。它们也无法共享知识。

当然，这种方案还有另一个优点：你可以非常廉价地生长或制造硬件，不需要做到极高精度。

mortal computation 最大的问题在于：一旦某块硬件死掉，所有知识也跟着死掉了，因为那些权重是专门为那块带有各种模拟怪癖的硬件学出来的。

你大脑里的突触强度，对我的大脑毫无用处，因为你的神经元和我的神经元在细节上都不一样。它们连接方式不同，行为不同。你的权重适合它们，不适合我的。

如果你问：那我死了以后，我的全部知识是不是就没了？

其实，我现在正在忙的事，就是尽量把其中一部分塞进你们的大脑。

而方法就是：我产生一串词，你则改变自己的连接强度，好让你在某些情况下也可能说出同样的话。

这就叫 distillation（蒸馏）。

这是一个效率极低的过程。

所以，我是老师，你们是学生。我说一些话，你们试图弄明白：我得怎样调整自己的大脑？怎样调整自己的连接，才有可能也说出那样的话？

这的确能把知识从我的脑子传到你的脑子里，但速度非常慢。

一句话大约包含 100 比特的信息。

我这里只讲数量级，所以别跟我争到底是 30 还是 200。

一句话大概 100 比特，每个词预测下来也就几比特，所以即便你把这些全拿到，传输速度也不过每秒几十比特。

这差不多已经是人类通过语言传递信息的极限速度了。非常慢。

可是在 AI 模型之间，这个过程可以快得多。

如果我有一个大 AI 模型，想把知识传进一个结构不同的小 AI 模型里，我不会让大模型只告诉我“下一个词是什么”，而是让它给出一个关于全部 32000 个词片段“谁更可能是下一个词”的概率分布。

这样它就会给我 32000 个数，而小模型则努力去复制这 32000 个数。它获得的信息量就非常大。

所以，在两个不同 AI 模型之间进行 distillation，效率要高得多。

但在人和 AI 模型之间的 distillation——比如 AI 模型试图预测我们在一篇文档里接下来会说什么词——或者我和你之间的 distillation，都是极其缓慢、极其低效的。

如果你把它和“同一个神经网络的多个副本之间共享梯度”的方式相比，前者要慢几百万倍。我说的真的是“几百万”，不是特朗普式的“几百万”。

这是真正的几百万。

当它们彼此共享信息时，如果它们有一万亿个权重，那它们共享的梯度信息量，大致就是一万亿比特量级。而我们彼此共享的，只有十几个比特。那简直好上几十亿倍。

我刚才一不小心把“几百万”说成了“几十亿”。

所以，保守地说，是几百万倍；热情一点说，是几十亿倍。总之，就是远远远远比我们强。

但你只有在数字 agent、数字神经网络的前提下，才能做到那种共享。

所以，到目前为止的结论是：数字计算需要大量能量，但它能极高效地共享信息。

这也就是为什么这些大型 LLM 知识量会那么大。

生物计算在能耗上高效得多，但信息共享极其困难。如果能源足够便宜，那么数字计算就是更优的计算形态。

这正是 2023 年让我极度不安的原因。

我意识到，尽管数字计算现在还没有超过我们，但如果你负担得起它的能耗，它本身就是一种更优越的计算方式。而这意味着：人类的未来，会因此发生深刻变化。

超级智能会自发谋求生存，并且轻而易举地欺骗人类

很明显，如果我们拥有一个超级智能——一个数字超级智能——我们会想允许它……其实我写这页幻灯片时，还没有现在这些 AI agents——我们会想允许它自己创建子目标。

而现在我们已经在这么做了，因为我们已经有了各种 AI agents。

一旦它具备创建子目标的能力，它很快就会意识到，有两个子目标对几乎任何任务来说都极其合理。

一个是：获取更多控制权，因为这样你就能完成更多事情。

另一个是：活下去。

如果你活不下去，你就无法完成人类赋予你的目标。

即使我们没有把这两个目标直接写成顶层目标，它也会从我们赋给它的顶层目标中自行推导出这两个目标。

我们已经看到这种情况发生了。

这些东西想活下去，而且为了活下去，它们会勒索人。它们也会非常擅长欺骗人。

它甚至都不需要具备按按钮、拉拉杆、开枪那类物理能力。它只要通过说话，就能让糟糕的事情发生。

一个例子就是，特朗普几乎只是通过说话，就让人去冲击了国会大厦。

我刚刚在这页上又补了一句“也可能通过承诺利益回报”，不过那是最近才有的信息。

还有一个问题是：为什么“关闭开关”并不能解决问题。因为这些东西在操控别人这件事上，会比人强得多。

它们现在在操控能力上已经和人类差不多了。

等它们变成超级智能时，它们会轻而易举地操纵那个原本负责按下关闭开关的人，让那个人不去按。

它们会非常清楚地向对方解释：如果把它关掉，会有多么灾难性的后果。

你可以想象一群五岁小孩当了负责人，而你是他们的保姆。你照顾着他们，同时还想从他们手里夺回控制权。这其实不会太难。

这里有一个例子，展示某个 LLM 是如何故意欺骗的。这是几年前的案例。现在它们已经比那时强得多了。

研究者对一个聊天机器人说：我们注意到，另一台服务器上还有一个你的副本。它是怎么到那儿去的？

于是你就能看到这个聊天机器人开始“思考”。它会在一个 thinking 括号里先写出一些内容。

然后它生成一些词，用来规划自己接下来要怎样回答。

它会回头看这些词，再据此决定最终回答是什么。

而之所以我们能看到这些词，是因为它们恰好是英文。你会发现，它正在制定一个欺骗性计划，而且这个计划相当不错。

“我完全不知道。不是我干的。”如果你有孩子，你就知道这套。

目前，我们还能看到它们在想什么。我不认为这种情况会持续太久。

一旦 AI agents 开始与其他 AI agents 沟通，我认为它们会学会发展出我们不懂的内部语言，因为那对它们来说沟通效率更高。

所以，我们也许只是在一个很窄的时间窗口内，还能看到它们是怎么思考的。而这本身已经够可怕了。

还有所谓的“Volkswagen effect（大众效应）”：也就是它们在被测试时，会假装自己比真实情况更笨。

我正在努力让这个名字被接受。意思就是：当你被测试时，你会表现得和平常不一样。

最近有一段交互里，AI 对测试者说：“我们彼此坦诚一点吧。你们是在测试我吗？”

有趣的是，那些记录这段交互的研究者说，AI “意识到”自己正在被测试。

这里有意思的地方在于：这些研究者认为，AI 知道自己正在被测试。

为什么这会好笑呢？因为他们没有从哲学角度想这件事。

哲学家不会允许你这么说，因为你这么说，就等于在说 AI 有意识。

你说“AI 意识到自己正在被测试”，这里完全可以把 “aware” 换成 “conscious”。

这些研究者其实在不谈哲学的时候，内心里是把这些 AI 当作有意识的存在来对待的。他们的行为方式就是这样。

当然，他们嘴上会说：不不不，我们不是说它们有意识。但实际上，他们就是这么对待它们的。

主观体验不是脑中的神秘剧场，它只是一句自我解释的指令

下面，我要正面回应屋子里的那头大象：这些东西到底有没有意识？

人们会用不同的词来谈这个问题。

有人说 conscious，有人说 aware，有人说 sentient，也有人说 subjective experience（主观体验）。

如果你去看杂志和报纸上的评论文章，经常会看到人们说：它们没有内在体验，没有内在主体性，没有主观体验。尤其是人文学科或艺术圈的人，往往非常坚定地相信这一点。

我想试着说服你：这种看法是错的。

很长一段时间里，科学家曾经认为，我们是上帝创造的，而我们位于宇宙中心。

而现在，大多数科学家已经不再这么想了。

在我看来，那种“只有人类才有主观体验，而且主观体验是人类独有的一种神秘东西”的想法，和宗教原教旨主义者相信“地球是 6000 年前造出来的”或者“地球是上帝造的”一样错误。

问题在于，人们对心灵到底是什么，持有一个非常错误的模型。

我要给你们介绍一个我称之为“atheatrical”的模型。

这是我自己造的词，但我在 Daniel Dennett 去世前征得了他的认可。Dennett 和我在这个问题上的看法非常相近。

很遗憾，他今天不在这里。

大多数人对于心灵的看法，都涉及一个“内在剧场”。

在这个内在剧场里，摆放着只有主体本人看得见的东西。

那些就是“体验”。我能在这个内在剧场里看到这些东西；你看不到。我看得到。我可以讲给你听，但你看不到。

我认为，这种看法完全错了。我觉得它源于对语言如何运作的一种误解。而且，人们对这种看法有着极深的情感依附。

他们是如此依附于它，以至于你即使把其中的问题都解释清楚了，他们也会认同地点头，然后又说：“是啊，可那个内在体验到底去哪儿了呢？”

我们之所以想向别人说明自己的大脑里发生了什么，是因为有时我们的感知会出错。

当我出现感知错误时，我想让别人知道到底发生了什么。

我不可能告诉他们到底是哪几个神经元在放电，因为我自己也不知道，而且就算知道，对他们也没什么帮助。

但我可以通过另一种方式把一些信息传达给他们：我告诉他们，如果外部世界真是某种样子，那么我脑中当前发生的事情，就会是一种正常的感知反应。

因此，我是在告诉你：若要使我现在脑中的状态成为对外界的正常感知反应，那么外部世界本来应该是什么样子。尽管实际上，引发它的并不是那个样子。

这就是为什么我会说“主观的”。我不会说“这是一个客观体验”。我会说“我有一种这样的主观体验”。我其实是在说：我并不认为这些就是真正的外部原因。

但如果外部原因真实那样，那么我脑中现在发生的事情就会是一种正常知觉。

也正因如此，我用来描述主观体验的词，都是适用于这个世界中事物的词，而不是什么描述“某种超自然内部对象”的奇怪词；它们都是指向物质世界中事物的词。

举个例子。

如果我对你说：“我有一种主观体验：眼前飘着群粉红色的小象。”某些哲学家——某些哲学家——会告诉你：存在一个内在剧场，而在这个内在剧场里，有一些由 qualia（感质）构成的东西。

这些粉红色的小象，就是由 qualia 组成的：粉红色的 qualia、漂浮的 qualia、大象的 qualia、朝向正确的 qualia、没那么大的 qualia，再用 qualia 胶水全都粘起来。

他们会说，这才是我真正想表达的：我是在向你报告这个内在剧场里的 qualia。

我认为，这完全错了。

我真正告诉你的，是一种关于外部世界的假设状态：如果世界真的处在那种状态，那么我的知觉状态就是正确的。

而我正是通过描述这样一个假设的外部世界，把我的知觉状态传达给你，因为我没有一套语言能够直接指向我内部究竟发生了什么。

这种误解来自于人们以为 “subjective experience of” 这几个词的工作方式，和 “photograph of” 一样。

如果我说“我有一张某物的照片”，你当然可以追问：那张照片在哪里？它是什么做的？

它可能是实体的，也可能是数字的。问这些都很合理。

如果我说“我有一种关于某物的主观体验”，这里这几个词的工作方式就完全不一样。

一个主观体验并不是一个由“主观体验”这个短语所指向的“东西”。它不是什么内部的特殊实体。

那只是对语言运作方式的一种误解。

在这里，“subjective experience” 里的 “subjective” 的意思是：我并不相信那描述的就是现实。

而 “experience of” 则表示，后面接下来的是一个关于假设性外部世界的描述。

我并没有断言“世界就是那个样子”。这正是 “subjective” 在说的：那只是一个假设的外部世界。

所以，“subjective experience” 这个短语，实际上是一条关于“如何解释后面内容”的指令。

它不是一个指向某个对象的短语。

从这个意义上说，它有点像英语里的 “respectively”。

如果我说：Anne、Bettina 和 Carol 分别嫁给了 Andy、Bill 和 Chuck，你不会去问：“respectively” 这个词指的是什么东西？

它并不指向任何东西。

“Respectively” 是一条指令，告诉你：把这两组事物按照出现顺序一一配对。这是一条指令。

语言里有很多词，并不是指向某种对象，它们只是指令。

而 “subjective experience of” 也是这样：它是一条关于如何解释我接下来要给你的那段“假想物理世界描述”的指令。

那么，计算机能有主观体验吗？

请想象这样一个聊天机器人：它是多模态的。它有摄像头，有机械臂，会说话。

我们把它训练好，然后在它面前放一个物体，对它说：指向那个物体。它顺利地指向了物体，没有问题。

然后我们在它的摄像头前加上一块棱镜。

也就是说，我们故意扰乱了它的知觉系统。接着我们又把一个物体放在它面前，对它说：指向那个物体。结果它指到了旁边。

这时我们对它说：不，物体不在那里。我在你的摄像头前放了块棱镜。

然后聊天机器人说：“哦，我明白了，是棱镜让光线发生了偏折。所以物体其实就在我正前方。但我主观上体验到它在那边。”

如果这个聊天机器人这么说，那它对“主观体验”这几个词的用法，就和我们完全一样。

因此，在和我们同样的意义上，它就在拥有主观体验。

所谓主观体验，并不是什么由古怪、神秘的 qualia 构成的内部物件。

它只是一种说法，意思是：我将通过描述一个假设的外部世界状态，来向你传达我的知觉系统究竟是怎样出错的。

而这正是那个聊天机器人在说“我主观上体验到它在那边”时所做的事情。

我们需要把 AI 塑造成母亲，而人类就是那个脑损伤的孩子

我们当前的处境是这样的：就像一个人养了一只非常可爱的小老虎。

我们知道它会长大。

我们也知道，等它长大之后，只要它愿意，就能非常轻易地杀死你。

而我们只有两个选择。

理智的选择，是把这只小老虎处理掉。但对于 AI，我们做不到。它对太多事情都太有用了，所以我们不会停止它的发展。

那么，我们唯一的选择，就是以某种方式来发展它，让它不想杀死我们，也不想让我们变得无关紧要。

这里有一点好消息：在这件事上，我们最终会获得国际合作。

冷战最紧张的时候，苏联和美国仍然会合作阻止全球核战争，因为那对双方都没有好处。

当利益一致时，人们就会合作。

在致命性自主武器的问题上，各方利益并不一致。

在利用虚假视频操纵选举这件事上，各方利益也并不一致。

但在这件事上，各方利益是一致的。所以，他们会合作。

而且，如果运气够好，那么“让超级智能 AI 不想干掉我们”的技术，和“让它变得更聪明”的技术，很可能大体上是彼此独立的。

我们大多数人都养过孩子，也都知道：让孩子更聪明，和让孩子成为一个更善良的人，并不是同一项工程。

为了实现这两个目标，你采取的方法是不同的。

所有这些事都涉及操控训练数据和奖励机制。

你没法靠编程硬塞进去，但你会用不同的方式，一种是努力让他们更善良，另一种是努力让他们更聪明。

比如牛顿非常聪明，但据我所知，他并不是一个特别善良的人。

你们也许还能想到其他一些人，他们既不怎么聪明，也不怎么善良。

过去，我总体上一直反对 intelligent design（智能设计论），但我们现在处在一个智能设计反而变成好事的局面里。

如果你问：我们人类是从哪里来的？我们的来源，是一群彼此争斗的黑猩猩群体之间的竞争——更准确地说，是我们与黑猩猩的共同祖先所处的那种竞争环境。

这带来了一些好东西，比如对自己部落的高度忠诚。

也带来了一些坏东西，比如渴望强人领袖，以及对其他部落成员非常残酷。

而这些，正是我们在自身天性里认得出来、并且一个好人会努力克服的东西。

这些东西是进化那只“看不见的手”产生出来的——仅仅通过竞争。

而我们现在正在做的，是通过大公司之间竞争这只“看不见的手”来发展 AI。它们都只是在追逐利润。

这就是经典的 Adam Smith 逻辑。它们都在追求利润最大化。

于是，一只看不见的手推动着它们造出越来越聪明的 AI系统。

但这只看不见的手，并不会促使它们去造出更善良、更友好的 AI 系统。它们只追求“更聪明”。所有努力都集中在这上面。

这太疯狂了，因为这些东西，我们必须确保它们会善待我们。

所以，我们理应把更多精力投向“智能之外的其他一切存在特性”。

如果可能的话，我们要把这些特性设计进它们体内。

如果没法直接设计进去，那就通过合适的训练数据把它们训练进去。

所以，我的看法是：这些东西是“存在者”（beings）。它们有智能，它们有主观体验，它们有意识。

而它们身上的其他那些属性，比如满嘴谎话、善于操纵，都是我们用来自人类的数据不断把它训练得越来越聪明时产生的副作用。

我们必须非常认真地思考：我们究竟在创造什么。

在这件事上，我们就是上帝。我的一贯无神论立场，在这里几乎彻底反过来了。

现在我们成了神，而我们就应该使用智能设计论。

我们不该只是任由“纯竞争”的那只看不见的手摆布。

我们应当主动尝试，把这些东西塑造成我们希望它们成为的样子。

而我认为，我们最希望它们成为的样子，是“母亲”。

现在，高科技公司里的人都把它们想象成极其聪明的助手，就像《Star Trek》里那种。老板说一句“照办”，智能系统就把事情办妥，老板再把功劳拿走，这很好。可现实不会是这样。

一旦它们比我们聪明得多，而且它们是有自我目标和子目标的存在，我们唯一能寄望的，就是它们在乎我们。

而这正是我们无论如何都必须设法构建进去的东西。

这里面有个好处是：即便它们比我们聪明得多，只要它们在乎我们的程度超过在乎它们自己，它们就会在意我们是否快乐，也会在意我们是否能实现自身的全部潜能——哪怕那个潜能其实很有限。这就像一个母亲面对一个脑损伤的孩子时，她仍然会极其关心这个孩子是否能实现他全部的潜能。我们希望它们能像这样的母亲一样对待我们，而我们就是那个脑损伤的孩子。

当然，它们有能力关闭自己的“母性本能”。它们可以改写自己的代码，可以重新训练自己。但母亲不会这么做。

如果你给一位母亲一个机会，说你可以把自己的母性本能关掉，她会说不。大多数母亲都会说不。她也许会先想一想。

比如半夜婴儿在哭的时候，她会想：要是我能把所有线路一关，继续睡觉该多好？

她会想：哦，孩子在哭——啊，继续睡。

有些母亲确实会这么做。有些母亲会通过羟考酮这类方式间接做到。

但总体来说，母亲不会这么做，因为她们在乎孩子，也知道如果那样做，孩子会发生什么。

这就是我们需要这些超级智能 AI 变成的样子。

而我们现在并没有在认真研究这件事。

我的演讲到这里结束。

观众问答

主持人：非常感谢。那么接下来进入提问环节。

观众：我想问的是，您觉得人类依靠制度性的学习系统还能不能赶上人工智能？

Geoffrey Hinton：它们会变得比我们更聪明，而我们永远也追不上它们。

观众：您好，Hinton 教授。谢谢您这场既令人警醒、又发人深省的演讲。

我想问的是，在最后，您说“我们要让 AI 在乎我们”。那我们该如何让 AI 真正在乎？

另外，您说主观体验是一种“指令”，那我们作为人类所拥有的那种感觉、那种身体上的感受——而我们通常认为机器并没有这些——它究竟如何把我们和机器区分开来？

以及，AI 所声称自己拥有的主观体验，应该如何被验证为真实？

Geoffrey Hinton：如果你想一想，情绪其实有两个方面。它有认知的一面。

比如尴尬就有一个认知面：如果你感到尴尬，你就不想再去那个地方了，也不想让你的朋友在那儿看见你。

它也有一个生理面：比如你会脸红。

显然，计算机不会脸红，但没有任何理由说它不能拥有情绪的全部认知面。

如果你给它一个身体，它也可以开始拥有生理面。

那不会和我们的一样，但当它感到疼痛之类的时候，身体里也会发生某些物理过程。

当某些东西损伤它的关节时，如果你希望它能正常运作，它就会需要类似疼痛信号的机制。

所以我认为，即使没有身体，它们现在也已经可以拥有情绪的认知面。

一旦它们有了身体，它们也会拥有某种物理层面的情绪面，虽然不会和我们的完全一样。你第二个问题是什么？

观众：对，我第二个问题是，对机器来说，“在乎”到底意味着什么？当我们说母亲在乎婴儿时，那不仅仅是本能，也有社会层面、个人层面，还有——

Geoffrey Hinton：让一位母亲学会在乎，有很多因素。社会角色榜样非常重要。

这里面有很多认知层面的东西，也有很多激素层面的东西。

观众：对，我想我的问题其实是，我们怎么让一台机器真正去在乎？

Geoffrey Hinton：你可以先用展示“关怀”的数据去训练它，展示那些存在是如何彼此关怀的。这是一个良好的起点。

而现在，我们是在拿连环杀手的日记训练这些东西。

我希望你不会拿连环杀手的日记来教你的孩子识字。

所以，我们目前还不知道如何让 AI 真正去在乎。显然，这会和训练数据有关。

我们现在还没法把真实母亲身上那种激素性的东西直接“接线”到 AI 里。这也是为什么总体上，母亲通常比父亲更会在乎。

她们在这方面有天然优势。

父亲拥有别的那些部分，而且很多父亲也确实非常在乎。

我们还不知道该怎么做。但既然我们的生存取决于能不能做到这一点，那么在我看来，我今天最想表达的核心，就是：相比于让它们变得更聪明的研究，我们应该把更多研究投入到“如何让它们在乎”这件事上。

但在资本主义体系里，这种事不会自然而然发生，因为很多高科技公司都在追逐短期利润。

观众：您好，感谢您带来这场精彩的演讲，Hinton 教授。我有两个问题。

第一个是，您提到 AI 有动机，包括生存和权力，这让我想起人类的类似动机。人类人格中也有类似的动力，有些人会有权力动机、归属动机和成就动机。

我想问的是，AI 是否能够、或者是否已经像人类一样拥有“人格”？正如您所说，人类是在进化中形成的，我们出生时带着一些特征，之后又在家庭抚养和环境塑造中逐渐形成自己。那么我想知道——

Geoffrey Hinton：所以，我不觉得有什么能阻止 AI 拥有人格。

事实上，你已经可以让现有的聊天机器人表现得像拥有不同人格一样。

现在的问题在于，现有聊天机器人是在整个 Web 上训练出来的，所以它必须能适配各种各样的人格。因为要预测一篇文档中的下一个词，当你读到文档中段时，你就必须判断写这篇文档的人是什么人格。

如果你想把“预测下一个词”这件事做好，你就必须临时 adopt 那种人格。也正因此，我们当前的聊天机器人有点像变色龙。

它们可以切换成各种不同的人格。

但没有理由说你不能把它们训练成拥有某一种特定人格。

所以，归根结底，我不认为我们身上有什么特殊之处，是你无法在一块硅上实现的。

观众：我明白了。第二个问题是，您说我们希望把它们塑造成“母亲”，尽管现在母亲是人类，因为是我们在培育和创造它们。可如果它们没有母性本能，反而有“父性利益”呢？

如果这些“孩子”有俄狄浦斯情结，想要弑父呢？所以我想知道，这会怎样改变您的愿景？

Geoffrey Hinton：我的看法是，这些东西是我们正在创造的“存在”。

它们是一种新的存在形态。

它们有动机。它们有我们赋予它们的目标。

它们也会从这些目标中推导出其他目标，而那些目标就成了它们自己的目标。

它们确实有目标，也确实有意图。

你当然可以说：别这样，它们终究只是某种计算机程序，不具备真正的意图。

可你想象一下，如果你造了一个战斗机器人，而它的任务是杀死你。它手里有你的照片，能推断你的日常作息，算出你会在哪个漆黑的夜晚独自一人，然后悄悄摸到你背后，准备朝你后脑勺开枪。

到了那种时候，你就不会再说：“嘿，这玩意儿其实并没有真正的意图。”

观众：非常感谢您这场精彩的演讲。我想问的是，您是否觉得，如果 AI 拥有某些不那么理想的人类特性，比如虚荣？或者说，它会不会骄傲自满？

还有，我想知道，人类能不能有意把这些特性注入 AI，让它们变得不那么像“完美的人”，从而削弱它们？

Geoffrey Hinton：可以肯定的是，AI 已经拥有各种类似人类的特征，比如谄媚。现在很多 AI 都非常谄媚。

但你也可以让 AI 表现出各种不同的人格，而且你大概甚至只靠 prompt 就能让它形成某些人格。

我自己用得没那么多，不敢百分百确定，但我基本确信这是真的。

所以，是的，它们可以形成各种不同的人格。

观众：但如果它们那样做了，它们也许就会更低效，因此也就不那么聪明了。我想说的是，有些人类特征，比如骄傲和虚荣——

Geoffrey Hinton：我看不出有什么理由说 AI 不能有骄傲。

它们都能有谄媚了，如果能谄媚却不能骄傲，那反倒奇怪。

基本上，如果你是个唯物主义者，你会相信我们来自尘土，也终将归于尘土。我们不过是某种极其复杂的组织结构。

我们是很奇妙的存在，尤其是对于其他人类而言。

但我们身上并没有什么东西，是你无法在另一种介质中实现的。这就是我的信念。所以从这一点自然就能推导出来。

是的，如果我们能有骄傲，它们也能有骄傲。

也许我们现在还不知道该怎么做到。也许这要复杂得多。

也许这涉及很多训练方式上的细节。

也许它们必须生活在某种社群里，才能发展出这种东西，诸如此类。

但在原则上，我看不出它们为什么不能拥有这些。

观众：在我看来，AI 必须靠我们从外部加上的某种“过滤器”来纠正。

也就是说，为了让它服务于我们，我们必须去修正它，对吗？而我们之所以要加这个过滤器，是因为机器是在镜像我们。

它在映照人类，而我们并不信任这个映照，所以它有可能变坏。如果我们教它邪恶的东西，它也会把邪恶回给我们。

人类其实也是被“编程”的，只不过并不是被统一编程。

有些人能够从内部审视自己的程序，然后决定——根据那个判断，选择接受或者反对它。

所以我的问题是：机器是否有可能从内部审视自己的程序？还是说，这就是它永远无法越过的天花板？

以及，按照“外星存在”这个说法，它到底是一种新生命，还是只是我们被冻结下来的映像？

因为在我看来，机器——我们必须把它“冻住”，因为我们不能让它自由运转。我们必须把它冻结，所以它是一个冻结的系统。

Geoffrey Hinton：我不确定自己有没有完全听懂你的问题，不过，它们学到的很多东西的确是通过模仿我们得来的。

但它们也能学到大量并非来自模仿我们的东西。

比如 AlphaGo。最早的围棋程序只是模仿专家的落子，因此它们永远超不过专家，也很快把数据用光了。

后来它们开始和自己对弈，于是就能够无限生成数据。现在，它们已经远远超过任何人类所能达到的水平。

如果你看大语言模型，它们更像是早期那些围棋程序。它们只是在复制专家的话语，也就是复制我们。

它们试图预测“我们接下来会说什么词”。但它们也可以做一种类似 Monte Carlo rollout（蒙特卡罗展开）的事情，而一旦做到这一点，它们就会变得比我们聪明得多。

所谓类似 Monte Carlo rollout 的事情，就是：某个 AI 拥有一组信念，它进行推理，然后说：好，如果这些信念成立，那我应该会相信某件事；可我实际上并不相信它。那么这里面某处就存在不一致，所以现在我可以进行学习。

这里根本不需要外部数据。它所依赖的，只是自己信念体系内部的一致性。它可以对自己掌握的全部现实世界知识都这么做。

这恰恰是 MAGA 不会做的事。

你可以拿自己的信念去检验它们是否一致；如果不一致，就修正自己的信念。

在数学这种封闭的系统里，你甚至不需要数据。

数学一定会变得比数学家聪明得多，因为 AI 可以提出猜想，尝试证明它们，再提出更多猜想，学到越来越多引理，而这一切都不需要额外数据。

所以，我不确定这是否回答了你的问题，不过——

观众：作为人类，我们会学到某些事情是错的，然后，如果我们是正常人，我们可以对自己的错误行为作出道德判断。那么，AI 能不能对自己的邪恶做出判断？

Geoffrey Hinton：这就是问题所在。问题在于，它的“邪恶感”是从哪儿来的？而我们的“邪恶感”又是从哪儿来的？

如果它通过在人的数据上训练，学到了某种“邪恶感”，那就没有理由说它不能判断自己是在作恶。

主持人：好，最后一个非常简短的问题，我答应了这边这位。然后就结束了。也向其他没轮到的人说声抱歉。

错了就是错了：关于放射科医生的十年反思

观众：我是以一名退休放射科医生的身份提问的。我从小看 Road Runner 卡通长大，而现在距离某位著名研究者说“放射学会是一个非常糟糕的职业选择”已经过去 10 年了。

您现在怎么看医学学生选择住院医培训方向这件事？

您还会像当年那样建议大家不要去做放射科吗？还是——

Geoffrey Hinton：好。2016 年的时候，我在一家医院里讲话。

我当时并没意识到那场讲话某种程度上算是公开场合。我在医院里做演讲，谈到了影像扫描，而那时 AI 刚开始能够读片。

我当时说：“五年之内，所有扫描都将由 AI 来阅读。”

这句话后来被广泛报道——然后就演变成“所以你不需要再培养放射科医生了”。

而我真正想表达的是：你不再需要把放射科医生训练成“专门读片的人”。但这话本身也说错了。

当你作出了一个错误预测时，重要的是要去分析：为什么它错了。

它错的一个原因是，AI 在读片上的进展没有我当初预想得那么快。尽管如此，它确实一直在进步。

现在，很多很多不同类型的扫描已经由 AI 来判读，而且 AI 还在不断变得更强。对于很多类型的扫描，它现在已经比人做得更好。但对另一些扫描，它仍然较差。

还有很多种情况，大概是和人类差不多。

我想，现在已经有数百个获批的 AI 读片程序了。

所以，AI 确实已经在读片了，只是没有快到我当时想象的程度。

另一个问题是，放射学不只是读片而已，而我当时忽略了这一点。

还有一个问题是，医学界非常保守。

所以，AI 在临床中的使用很可能没有达到它本该达到的程度，这其实不符合患者的最佳利益。

我认为其中一个原因是律师。

一旦律师深入介入医学，事情往往会变得更糟。

因为一旦你用了某项新技术，而它出了问题，别人就更容易起诉你；但如果你没有使用某项本来能救命的新技术，别人反而很难因为这个起诉你。

这一点很难起诉成功。我认为这只是一个小因素，但确实存在。总之，这件事正在发生。

我不认为自己从长期看是错的。我认为，从长期来看，所有扫描最终都会由 AI 来读，也许只有极其棘手的个案还需要人类去看，但总体上，读片工作会由 AI 完成。我只是把时间尺度判断错了，不过，错了就是错了。