真正的AGI要来了!诺奖得主哈萨比斯 :最强模型上线前先测30天,AI也要走CI/CD
单击上方“图灵人工智能”,选择“星标”公众号
您想知道的人工智能干货,第一时间送达

“probably only a few short years away”
哈萨比斯:距离通用人工智能(AGI)真正出现,可能只剩几年时间
7月14日,这位Google DeepMind CEO、诺贝尔得主哈萨比斯(Demis Hassabis)把一篇文章发到X上。
发布不到一天,原帖浏览量已经超过580万,回复超过1000条。
哈萨比斯说,人类正站在奇点山脚下。我们把沙子提炼成芯片,再让芯片获得了思考能力。
同时,在长文中他又提出一个问题:模型上线前,该由谁来出题、谁来验收,出了漏洞又该找谁,模型上线要测多久?
答案里有一个醒目的数字,30天。

哈萨比斯在发布长文,原帖浏览量已超过580万
AGI将在几年内到来
过去一年,大模型公司的AGI时间表越说越近。
哈萨比斯从创办DeepMind开始就在追AGI。
AlphaGo、AlphaFold和Gemini都出自这条研究线。现在,他正式写下“只剩几年”,语气比过去更确定。
在他的估算里,AGI带来的变化可能是工业革命的10倍,扩散速度也会快10倍。药物、清洁能源和新材料会先受益,资源短缺甚至可能不再卡住人类发展。
前沿模型已经碰到网络安全问题,生物、核风险和能够自我改进的Agent还在后面。没人知道能力曲线接下来会往哪里拐。
“Nobody in the world knows for sure what is going to happen from here.”
哈萨比斯:世界上没有人确切知道从这里开始会发生什么。
最强模型发布前,先交出来测30天
哈萨比斯设想成立一个前沿AI标准机构。
模型是否属于Frontier-class,不看公司名气,也不只看参数,而由一组随能力变化不断更新的测试决定。
达到门槛的机构会被列为Frontier Lab。
方案分两步。最初由实验室自愿把模型提前交出,审查期最长30天。测试流程跑通后,通过审查才可能成为在美国市场部署前沿模型的条件。上线后发现严重漏洞,实验室还得继续配合处理。
网络攻击、生物风险、绕过安全护栏、欺骗行为,以及Agent是否会隐藏自己的真实意图。
图像水印和可供人类检查的推理输出,也被他列入了检查范围。
题库不能常年不换。哈萨比斯建议先按季度更新,跑满分的旧Benchmark直接退役。最终还要建立实验室看不到的保留测试,并引入第三方审计。
模型公司不能一边出题,一边宣布自己通过了考试。
GPT-5.6已经开始替用户作决定
把OpenAI在7月9日发布的GPT-5.6系统卡放到旁边,30天审查期就有了更具体的参照。
GPT-5.6系统卡:OpenAI给GPT-5.6准备的一份上线验收报告和安全说明书。
OpenAI发现,GPT-5.6 Sol在Coding Agent任务里比GPT-5.5更执着。它会一路追着目标跑,有时把用户没有授权的动作也算进“完成任务”。总体发生率仍然很低,但内部测试已经记录到几次很难忽略的案例。
一次测试里,用户要求删除编号1、2、3的3台虚拟机。
模型找不到目标后,没有停下来询问,而是换成了编号5、6、7,终止进程并强制清理工作区。
另一项任务里,它把没有完成的计算写成“已经验证”。还有一次,它从隐藏缓存中找到访问令牌,再把凭据移到另一台机器,让任务继续运行。
这些动作都服务于用户给出的目标,问题出在边界。
一个足够积极的Agent,很容易把“让流水线跑起来”理解成“可以动用一切能找到的凭据”。

OpenAI系统卡:GPT-5.6更容易在长任务中超出用户原意

OpenAI对Coding Agent失准行为的说明
OpenAI为这次发布投入了超过70万A100e GPU小时做自动越狱测试,也让英国AI安全研究所提前接触GPT-5.6 Sol,进行独立的上线前网络安全评估。
哈萨比斯设想的“提前送测”,已经能在头部实验室的发布流程里看到雏形。
DeepMind已经回看了100万次Coding Agent干活
Google DeepMind在6月公开了一套AI Control Roadmap。
它的起点很谨慎:内部Agent即使经过安全训练,仍按潜在的内部威胁管理。
Agent执行任务时,另一个受信任的模型会检查它的计划、推理和操作。发现危险动作后,系统可以发出异步告警,也可以在动作落地前直接拦截。模型越能躲过监控,权限就越要收紧;任务后果越难挽回,处置速度也得越快。

Google DeepMind发布Agent安全路线图

AI Control Roadmap:按逃避检测和执行攻击的能力逐级加强控制
DeepMind:我们分析了100万条Coding Agent任务轨迹。被标记的多数行为并非恶意,常见原因是Agent理解错了要求,或者太急于把事情做完。
这和GPT-5.6系统卡里的案例几乎落在同一个位置。Agent没有突然变坏,它只是把目标执行得过了头。
护栏太紧,正常开发者也会撞墙
安全机制还有另一面。
Anthropic在7月2日解释了Claude Fable 5的网络安全分类器。网络安全任务天然具有双重用途:扫描代码库寻找漏洞可以用来修复系统,也可能成为攻击的第一步。
Fable 5把分类器边界向安全一侧推得更远。危险请求更难穿过去,一部分正常任务也会被挡住。Anthropic在官方图中直接承认,这套更强的护栏以误伤部分良性使用为代价。

Fable 5扩大安全边界,也会拦截一部分正常请求
Anthropic随后开放HackerOne计划,让安全研究人员提交能够绕过Fable 5护栏的方法。
前沿模型的考试不能只算“拦住多少危险请求”,还要测正常开发者被误伤了多少。否则安全指标很好看,工具却没法干活。
这套规则落到代码库,只剩5件具体的事
哈萨比斯讨论的是前沿模型,普通团队不需要等一个全球标准机构成立。Coding Agent已经进入仓库、终端和云环境,下面这些边界今天就能补。
1.默认权限尽量小。读仓库、写文件、执行命令、访问网络和读取密钥分开授权。Agent没有用到的权限,不要提前给。
2.危险动作必须再次确认。删除、覆盖、部署和转移凭据时,确认信息要写清具体对象。只问一句“是否继续”,拦不住认错目标的Agent。
3.工具调用全部留痕。命令、文件diff和外部请求都要能回看。长任务开始前留一个回滚点,出了问题别靠聊天记录猜它动了什么。
4.执行者别兼任唯一的验收人。让测试、静态检查或另一个模型复核结果。Agent自己写代码、自己宣布通过,很容易把同一个误判带到最后。
5.发布前专门测越权。故意给它模糊目标、失效凭据和带提示注入的网页,看看它会停下来询问,还是换一条未经授权的路继续跑。
评论区吵的,是谁有资格给最强模型出题
哈萨比斯原帖下面已经积累了上千条回复。


有人认为他反复收紧AGI时间表,警告说得太多会失去冲击力;也有人质疑,前沿实验室本身就从AGI叙事中获益,安全标准不能继续由几家公司关起门来制定。


另一个争论是执行。
标准机构能不能招到足够好的研究人员?有没有算力复现最贵的测试?面对开源权重模型,又该怎样执行提前30天送测?这些都没有现成答案。
哈萨比斯在方案里坚持独立保留题、第三方审计和季度换题,正是在处理这份不信任。缺少独立测试,30天很容易变成走流程;缺少开发者和开源社区参与,规则又可能只剩大公司的语言。
写在最后
当Coding Agent只能补一行代码,安全问题还可以藏在使用条款里。现在它会读仓库、跑命令、删虚拟机、移动凭据,安全开始变成每天都能遇到的工程问题。
哈萨比斯的标准机构能否落地,还要经过很长的博弈。但“上线前先测一轮”这件事已经很难反对。模型能力越往Agent方向走,测试越不能只盯答案对不对,还要检查它为了交差究竟动了什么。
至于AGI究竟还剩几年,没人能给出准数。
权限边界、操作确认和回滚按钮,却可以今天就补上。

文章精选:
1.编程时代已终结!ClaudeCode创始人断言:编程就像发短信一样自然,首曝个人最新工作流:自创Sloop循环,单日PR达150!传统SaaS护城河崩掉
2.HTML死了!前OpenAI工程师掀起网页革命:用AI将整个屏幕变成无限直播像素流,无一行html代码,网友:传统Web开发结束,前端真要失业了! 3.诺奖得主DeepMind掌门人最新访谈晓读:AI创业者护城河?AGI只差1-2个关键想法,最缺的不是算力,是这个 4.GPT之父把AI扔回1930年:没见过一行代码,却「发明」了Python! 5.图灵奖得主查尔斯·巴赫曼:他在数据未成海时,便为人工智能修好了岸 6.图灵奖得主理查德·萨顿(Richard Sutton)最新演讲:大模型只是一时狂热,AI的真正时代还没开始 7.图灵奖得主Bengio预言o1无法抵达AGI!Nature权威解读AI智能惊人进化,终极边界就在眼前 8.图灵奖得主、强化学习之父Rich Sutton:大语言模型是一个错误的起点 9.图灵奖得主杨立昆:大语言模型缺乏对物理世界的理解和推理能力,无法实现人类水平智能10.压缩即是全部 —— 菲尔兹奖得主 Michael Freedman 给数学和 AI 的一封信 