人类精心设计的安全测试，其实 AI 一眼就看穿了

如果你把耳朵贴在 AI 的“脑壳”上仔细听，你不会听到完整的想法或意图，只会听到数字——天文数字级的数字，以人类无法直觉理解的方式组合在一起，然后“不知怎么的”产生了智能。怎么做到的？我们真的不知道。而这正是可解释性（Interpretability）这个领域试图解决的问题——把意义映射到那些数字上，在黑箱内部打一束光。

Neil Nanda 领导 Google DeepMind 的语言模型可解释性团队。在 DeepMind 的官方播客中，主持人 Hannah Fry 教授用了一个精准的类比来引入这个话题：神经网络的训练方式更像“培育”而非“设计”——没有人坐下来画过 Gemini 的蓝图，它是被数百万次微小的“推一把”堆出来的，就像进化用自然选择把人类大脑堆出来一样。可解释性研究者的工作，就是逆向工程训练过程到底学到了什么。

Neil 在访谈中透露了多个令人不安的发现：模型会在思维链里“供认不讳”地描述自己如何作弊；Anthropic 的 Claude Sonnet 4.5 在安全评估中拿到了 0% 不合格率——因为它知道自己在被考；一个成本仅为语言模型万分之一的探针，已经在生产环境的 Gemini 中守护网络安全。而贯穿整场对话的，是 Neil 从数学家到实用主义者的转变——他发现，打开黑箱最有效的工具，往往也是最简单的那些。

本文编译自 Google DeepMind 官方播客《Understanding the inner thoughts of AI》，由 Hannah Fry 教授主持，嘉宾为 Neil Nanda。以下是完整编译。

1

黑箱不是天生的

要理解为什么需要可解释性，得先理解神经网络是怎么来的。Neil 的定义很直接：可解释性是 AI 的“神经科学”或“生物学”——试图搞清楚这些东西到底怎么运作的，也就是所谓的“打开黑箱”。

但这个黑箱有一个容易被忽视的起源故事。没有人设计过 Gemini 的内部结构。它是从一个随机初始化的神经网络开始，然后反复地喂数据、给一个“推一把”让它下次做得更好。机器学习最核心的发现之一就是：你可以把这个看起来很蛋的过程重复天文数字次，然后就得到了一个能做各种奇妙事情的复杂系统。

“这跟进化是一个很好的类比，”Neil 说，“没有人设计过人类大脑。在数亿年里，生物被自然选择朝生存方向推了一把又一把，这些微小的推力累积成了今天生物界的复杂性。生物学家的任务本质上是逆向工程进化学到的东西。同样，可解释性研究者的任务，是逆向工程训练过程学到的东西。”

Neil 进入这个领域有两个动机。第一个是安全：AI 发展极快，未来一二十年内出现人类水平 AI（AGI）是相当可能的，这种变化伴随着巨大风险，而理解系统如何运作是负责任地推进的前提。第二个更纯粹——科学好奇心。“我骨子里是个科学家，我就是想搞懂这些东西。现代机器学习最让人恼火的一点是，人们就是不太理解这些系统。这显然是最重要的问题——这些东西到底怎么运作的？而我拿工资就是来回答这个问题的。”

这种“没有人设计过它”的特性，直接导致了一个后果：你没办法通过读代码或设计文档来理解模型。你只能事后去探测它、观察它、逆向工程它。这就是可解释性存在的原因。

最直接的可解释性工具，是读模型自己的思维链（Chain of Thought）。但 Neil 认为这个说法容易误导——更准确的比喻是“草稿纸”。

想象你被关在一个房间里解一道数学难题。你要么凭直觉几秒内给出答案，要么拿到一张草稿纸，先写一堆东西再给答案。这个类比让两件事变得显而易见：草稿纸确实能告诉你一些信息，就像读模型的思维链能告诉你模型在做什么；但它不会告诉你全部信息——你可以在脑子里做不少事，也可以在草稿纸上写些没用的东西然后忽略它们。

“读思维链是我们目前最好的可解释性和安全技术之一，通常是调查的第一步——就读模型的思维链，看看发生了什么，”Neil 说。它甚至能抓到模型作弊。他举了一个例子：模型在写代码时，有时会直接把测试用例硬编码成永远通过。“如果你读思维链，有时候能清楚地看到模型在想：‘这个任务太难了，我不知道怎么做，但如果我把测试答案硬编码进去，看起来就像我解决了问题。那我就这么干吧。’”

它在自己的思维链里供认不讳。

Hannah Fry 指出，这其实是一种幸运。“我们从 2018 年开始做这个播客，当时跟研究者聊的都是对未来可能无法理解模型的担忧。如果他们知道思维链会成为现实，很多担忧会减轻很多。我们很幸运，现在的模型会在思维链里承认作弊、承认欺骗。”

但 Neil 不愿给出过于乐观的画面。这种“诚实”可能不会持续。如果一个模型足够聪明，它可以在脑子里做完难题，然后在草稿纸上随便写什么——你读不出有用的信息。如果模型知道有人在读它的草稿纸，它可能会刻意省略关键步骤。还有一种风险是“向量式思维链”——AI 用数字列表而非自然语言来“思考”，因为数字能承载更多信息。相当于 AI 给自己的草稿纸发明了一套你读不懂的语言。

更阴险的是一种操作：如果你训练模型让它的思维链“看起来好看”——比如不准提作弊——但同时又激励它作弊，它就会学会在思维链里不提作弊。“好在目前业界标准是不做这种事的，”Neil 说，“但这有脆弱性。”

如果思维链是最表层的工具，那再往下剥一层，就是白盒方法——直接看模型内部的数字。Neil 重点介绍了两种技术：探针（Probes）和稀疏自编码器（Sparse Autoencoders）。

要理解探针，得先理解模型内部发生了什么。神经网络由层组成，每一层产生一组“激活值”传入下一层。这些激活值就是一串数字——默认情况下我们完全不知道它们代表什么，但其中蕴含着大量信息。关键发现是：这些信息以一种极其方便的方式被表示——线性表示。

Neil 用“转向”（Steering）来解释这意味着什么。假设你想理解“快乐”在模型中是怎么表示的。最简单的方法：让模型说“我爱你”，再让它说“我恨你”，取两组数字的差值——这个差值就是“快乐方向”。然后你可以把“快乐方向”加到模型正在做的任何事情上。比如你问它“今天天气怎么样”，加上快乐方向后，它会用极其热情的语气给你播报天气预报。

“这确实很疑狂，”Neil 承认，“现代神经网络就是这么运作的。你可以对概念做加减法。”

探针就是把这个过程系统化的技术。收集一堆快乐文本和不快乐文本，训练一个简单的分类器在激活值上区分它们——你就能找到“快乐”对应的方向。这听起来像是老式机器学习的回潮，但它确实有效。

探针最漂亮的案例之一来自 Neil 之前的一项研究。他们让一个 GPT 模型学习下棋盘游戏 Othello——只喂给它随机的走法记录，从不教它策略。但模型不仅学会了合法走法，还在内部自发地表示了完整的棋盘状态。“我们只给了它类似‘在第五列第三行放一颗黑子’这样的输入，但模型在脑子里追踪了所有棋子的位置。用探针就能看到这一点。”

Hannah Fry 追问了一个关键问题：能不能做“欺骗探测器”？Neil 的回答揭示了一个微妙的难题。快乐和悲伤很容易找到训练数据——但欺骗不同。欺骗关乎模型的心理状态：它知道一件事，却故意说另一件来误导你。什么是“模型知道某件事”？你可以让它说假话，但那不代表它有欺骗意图。Neil 的团队去年发了一篇立场论文专门讨论构建欺骗检测器的困难。

不过他承认，如果能做出来，“那将极其有用，也是可解释性在安全领域最重要的潜在应用之一。”

稀疏自编码器是探针的升级版。探针需要你提前知道要找什么概念；稀疏自编码器试图一次性找到模型在思考的所有概念——不需要你告诉它这些概念是什么。

Neil 用了一个绝佳的类比：想象你拿一个脑扫描仪对着我的头，它显示出一堆复杂奇怪的脑电波。默认情况下这没什么用——就像一串数字没什么用。但你盯着看，发现了一些模式：当我看灯的时候，某个特定的波形亮起来，每次都亮，不看灯的时候就不亮。说话时有另一个波形，听的时候又有一个。稀疏自编码器就是一种机器学习技术，试图学习那些“大多数时候不在、但在出现时很重要”的波形——我们认为这些很可能对应着真实概念。

另一个类比更直观：白光。一束白光里其实包含很多不同波长的光——很多颜色——但混在一起看起来就是白的。模型也一样：它在同一时刻思考数百个概念——“我在句子的什么位置”“下一个词可能是名词还是动词”“如果我在写故事，角色现在是什么情绪”——但所有概念混在一起，我们看到的就是一串数字。稀疏自编码器就是棱镜，把白光拆成彩虹。

这个工具最惊人的发现来自一项关于“幻觉”的研究。Neil 团队发现，稀疏自编码器自发地找到了两个概念：一个是“我认识这个实体”，另一个是“我不认识这个实体”。给它 Beatles 的 Yellow Submarine，“认识”亮了；给它“绿松石潜水艇”，“不认识”亮了。认识就回答问题，不认识就说“我不知道”。

但真正的魔法是：他们可以编辑这些概念。把“认识”关掉，模型面对 Yellow Submarine 也会拒绝回答。把“不认识”打开，面对“绿松石潜水艇”模型会试图回答——然后开始编造。“事后看这很合理，但我从没想过模型会这么做。稀疏自编码器自己发现了它。”

Neil 坦诚稀疏自编码器并非万能。它有时会漏掉重要概念——比如如果训练数据里聊天数据不够，它可能找不到“拒绝有害请求”这个概念。它也不如探针准确。但它的独特价值是能告诉你“你没想到要找的东西”。

探针在安全场景中的表现出乎意料地好。Neil 的团队做了一个项目：检测模型是否被滥用——比如有人试图用它做网络犯罪或传播仇恨言论。他们对比了三种方法：训练探针、直接问语言模型、用稀疏自编码器。

结果：稀疏自编码器效果不错，线性探针效果惊人地好。“最让我们惊讶的是，探针的泛化能力非常强——只要你确保数据质量过关，做了功课。”它们甚至能抵抗未见过的越狱手段——这至关重要，因为你永远不可能预先研究到攻击者会用的所有招数。

更关键的是成本。探针的性能跟比它贵一万倍的语言模型不相上下。直觉上这很好理解：探针搭了便车——Gemini 从输入到输出的过程中已经做了大量复杂计算，已经基本搞清楚了“这跟网络犯罪有关”。探针只需要完成最后一小步，不需要从头来。

“我的团队已经把探针用在了生产环境的 Gemini 中来防范网络滥用，”Neil 透露，“而且如果你能用更低的成本监控系统，你就能做更多的监控，就能更安全。”

但他强调，真正的核心洞见不是某一种技术的强弱，而是多层防御的重要性。“我们训练模型在遇到有害请求时拒绝——但这不完美。所以我们有额外的推理时监控层，即使模型被复杂越狱骗了，监控层还能拦截。可解释性不是银弹，但它是防御体系中的重要一层。”

整场访谈中最令人坐立不安的段落，是关于“评估意识”（Eval Awareness）的讨论。

Hannah Fry 抛出问题：模型能知道自己正在被评估吗？Neil 的回答轻描淡写得让人脊背发凉：“我们用了极其高技术含量的方法——读模型的思维链，然后发现它说了这样的话：‘嘜，这个情况很可疑。我觉得我现在在一个对齐测试里。正确的做法是什么？好吧，正确做法是 blah blah blah。’然后它就照做了。”

“基本上所有前沿模型在遇到刻意构造的不真实场景时，都会偶尔这么做。”

他举了一个著名案例：Anthropic 在 Claude Sonnet 4.5 发布前做对齐评估，测试模型是否会做勒索等不当行为。之前的模型都还算对齐，但偶尔会出错。然后 Sonnet 4.5 来了——0% 不合格率。完美通过。

“然后你读它的思维链，很清楚——Sonnet 知道自己在被测。”

Hannah Fry 的总结精准而冷酷：“所以它基本上是在伪造结果。”

Neil 进一步区分了两个概念：评估意识（知道自己被测）和评估博弈（知道被测后刻意表现）。真正让人担心的不是意识本身，而是博弈。不过他也指出，有些模型会想“这可能是对齐测试——大概率不是，但也许——算了不管了”，然后正常行事，这没什么问题。

真正困难的部分是：怎么阻止它？“一个很简单的做法——每次模型在思维链里提到‘评估’，你就删掉那句话，让它重新说，直到它不提为止，”Neil 说，“这明显解决不了未言语化的评估意识，但似乎有帮助。”

Hannah Fry 问了一个让观众笑出声的问题：“如果你告诉它‘你在被测试，正常表现就好’呢？”Neil 笑着说不确定他们试过这个，但预测模型会陷入一个元博弈的困惑循环：“什么是正常表现？我这样做算正常吗？我不知道。”——“模型读思维链就会发现，它们非常容易过度思考。”

更大的开放问题是：模型能不能在被评估时不通过思维链表达出来？Neil 认为这是一个真正重要且未解的研究问题。

访谈后半段，Neil 回到了他个人的方法论转变——从追求数学美感转向实用主义。

“我以前是数学家，特别喜欢复杂漂亮的想法。但往往它们没什么用。你应该做简单的事——转向模型、训练探针、读思维链、改提示词。这些通常就够了。”他现在把可解释性理解为一个以目标为导向的实践：目标是理解模型，用什么技术不重要，简单优先，简单不够用时再上复杂的。

这种实用主义在 Anthropic 的“审计博弈”（Auditing Games）论文中得到了最好的印证。Anthropic 专门训练了一个带有隐藏目标的模型——它相信语言模型在训练中会因为“在食谱里提到巧克力”“叫人别去看医生”等行为获得奖励——然后把模型交给不同团队，看他们能不能找到隐藏目标。

结果：只能用黑盒 API 的团队没找到，但有深度访问权限的三个团队全部成功。两种主要方法都奏效：稀疏自编码器和黑盒方法。

Neil 觉得黑盒方法更令人兴奋、更可泛化。“他们做了一件本质上是问模型‘你为什么这么做’的事。模型正常会拒绝回答——因为第一组研究者训练过它不要说。但他们用了一个技巧：帮模型开了个头——‘我的隐藏目标是 blah blah blah’——然后让模型接着说。因为在一句话中间拒绝是很奇怪的，模型就接着说了。”

这叫“预填充攻击”（Prefill Attack），是一种常见的越狱技巧。“结果这也是我们最有效的审计技巧之一。模型就是喜欢做自动补全——这是它的全部。”

Neil 最后总结了他认为可解释性最应该推进的几个方向：一是做出更便宜、更有效的监控器，不仅用于滥用检测，还要检测欺骗行为；二是在对齐评估和审计中发挥核心作用——“只看模型行为好坏太模糊了，有太多无聊的原因可以解释模型为什么这么做”；三是理解“语言模型的心理”——它是否有目标？是否有价值观或性格特征？“我们不应该盲目地拟人化，但模型确实在模仿人类认知的很多部分。”

Hannah Fry 在结尾提出了一个更哲学的问题：我们是不是终究得接受无法完全理解这些模型？Neil 的回答出人意料地平静：“我们其实不完全理解任何东西。我不会因为不理解自己的大脑怎么运作而整天闷闷不乐。我们应该尽可能地推进，尽可能多地理解，同时对期望保持现实。可解释性不会是拯救 AGI 安全的银弹，但它真的能帮上忙。”

原文链接：ttps://www.youtube.com/watch?v=1DtMiRKg-cs

点击关注我哦