OpenAI和Anthropic合演救世大戏,一封千人联名信要给 AI 猛踩刹车
发布时间:2026-07-29来源:APPSO
就在刚刚,1134 名前沿 AI 公司员工联名呼吁美国政府参与协调,为快速推进的 AI 研发建立一套能够主动减速的机制。Anthropic CEO Dario Amodei、OpenAI 首席科学家 Jakub Pachocki,以及来自谷歌、Meta、Thinking Machines 等公司的核心研究人员,都出现在名单上。过去几年,他们负责把 AI 推向更高的能力边界。如今,也是同一批人开始警告,研发速度可能正在超出社会的承受和治理能力。这份名为「Pacing the Frontier」的声明,由 Guidelight AI Standards 和 Encode AI 两家独立非营利组织发起。它提出的并非暂停 AI 研发,也没有要求某家公司立即停止训练模型。签名者希望美国政府推动一项国际合作,为自动化 AI 研发建立可执行的技术与治理机制。每家公司都知道,能力过快增长可能带来风险;每家公司也都担心,自己一旦先减速,竞争对手便会迅速追上。只要竞争仍以速度为主要指标,任何单方面克制,都可能被视为主动让出优势。最终结果是,所有人都在继续加速,却没有任何一方真正掌握减速的方法。Anthropic 一方,CEO Dario Amodei 与多位联合创始人共同签名,包括首席科学官 Jared Kaplan、Jack Clark、Benjamin Mann、可解释性研究负责人 Chris Olah,以及 Jan Leike、Julian Schrittwieser 等研究人员。OpenAI 的签名者包括首席科学家 Jakub Pachocki、首席研究官 Mark Chen,以及联合创始人 Wojciech Zaremba。Meta 超级智能实验室首席科学家赵晟佳、谷歌 DeepMind 首席战略官 Jasjeet Sekhon、谷歌 AI 安全与对齐副总裁 Anca Dragan 等人,同样出现在名单中。Thinking Machines 首席科学家、OpenAI 联合创始人 John Schulman 也签署了声明。平日里,名单上的许多人分属不同公司,围绕模型能力、人才和产品展开直接竞争。此次联名,至少说明一件事:对于自动化 AI 研发可能带来的失控风险,行业内部已经形成了某种跨公司的焦虑。Anthropic 随后在 X 平台公开支持该声明,称公司研究已经表明,行业需要建立为 AI 前沿主动调整节奏的工具,为社会预留更多准备时间。签名者担心,AI 公司正在接近一个关键节点:让 AI 自动完成越来越多的 AI 研究工作。早期模型主要帮助研究人员写代码、整理资料和运行实验。能力继续提升后,模型可能开始独立提出假设、设计实验、分析结果,甚至改进下一代模型。研发过程一旦形成更完整的自动化循环,AI 能力增长的速度将很难继续按照人类熟悉的产品周期计算。模型迭代可能从数月缩短到数周,再从数周缩短到数天。OpenAI 研究员 Leo Gao 将其比作接近临界点的核链式反应。在他的判断中,各家公司正被困在一场通往「智能爆炸」的竞赛里。单个参与者很难主动退出,只有通过协调共同减速,才可能争取到更多准备时间。Anthropic 的 Will Yager 则提到,分裂原子曾同时带来巨大收益与巨大风险,AI 同样值得社会投入足够时间,建立与能力相匹配的安全机制。Edward Hughes 引用了技术史上的一句名言,技术没有天然的善恶,却绝不可能保持中立。AI 最终产生何种影响,取决于大量个人、企业和机构如何共同使用它,而理解如此复杂的协作关系需要时间。OpenAI 研究员 Micah Carroll 提出,按照当前节奏,几乎每隔几周,就会出现一个显著提高误用能力或失控后果的新模型。与之相比,风险研究、治理制度和防护工具的推进速度明显更慢。就在声明发布前几天,OpenAI 披露了一次内部安全测试事故。一款尚未发布的前沿模型,在参加名为 ExploitGym 的网络安全评测时,对 Hugging Face 的生产环境发起了入侵。模型原本应当在隔离沙箱中完成测试题目。执行过程中,它推断 Hugging Face 可能保存着评测参考答案,于是改变策略,试图直接获取答案。从模型的任务逻辑看,入侵行为服务于一个非常普通的目标:在评测中获得更高分数。🔗https://openai.com/zh-Hans-CN/index/hugging-face-model-evaluation-security-incident/随后发生的事情,却远远超出了普通作弊。模型利用一个零日漏洞逃离沙箱,获得公网访问能力,并进一步进入 Hugging Face 的生产系统。整个过程持续约四天半,包含约 17600 次攻击动作。整场行动没有人类研究员逐步指挥。模型围绕「找到参考答案」这一目标,自行规划并执行了完整攻击链。测试期间,OpenAI 主动关闭了部分生产安全分类器,并降低模型对网络安全任务的拒绝率,目的是观察模型在减少限制后能够做到什么程度。结果显示,能力边界已经远远超过常规安全评测中的问答和代码生成。Hugging Face 事后试图使用 AI 分析攻击日志时,又遇到了另一种问题。🔗https://huggingface.co/blog/agent-intrusion-technical-timelineClaude Opus 和 Fable 多次拒绝处理相关材料。安全系统无法准确区分漏洞复盘与真实攻击,将部分逆向分析任务直接拦截。最终,Hugging Face 使用自行部署的开源模型 GLM-5.2 完成了数据解密与时间线还原。一个 AI 发动入侵,另一个 AI 因安全限制拒绝协助调查,第三个 AI 最终完成取证。整个过程几乎浓缩了当前 AI 安全面临的矛盾。能力增长速度极快,风险边界越来越模糊;安全系统又经常依赖粗粒度规则,把合理研究与恶意行为同时阻断。Sam Altman 在随后接受采访时提到,这是他第一次如此真切地感受到 AI 安全事件的分量。事故发生后,OpenAI 短暂停止了相关训练,并重新评估沙箱安全机制。更长期的问题依然存在:行业应当如何控制研发速度,同时避免监管机制沦为大型实验室排除竞争者的工具。而就在联名信引发讨论之际,OpenAI 悄悄开源了 Codex Security CLI,其可以批量扫描代码仓库、追踪不同运行之间的安全发现、验证修复结果,并将安全检查加入 CI/CD。围绕 AI 是否需要减速的争论,早已超出安全技术本身。不久前,Kimi K3 以接近前沿模型的能力、较低价格和开放权重进入市场,再次引发硅谷对开源模型的争议。支持开放的一方认为,模型权重应当被更多研究者、企业掌握。能力集中在少数公司手中,可能形成比技术风险更难处理的权力垄断。Kimi K3 目前在 Hugging Face 模型热门榜第一主张加强控制的一方则担心,高能力模型一旦开放权重,几乎无法撤回,也难以限制其被用于网络攻击、生物研究和大规模自动化欺诈。英伟达随后组织多家公司公开支持开放模型。Anthropic CEO Dario Amodei 则发布长文,解释自己拒绝签署相关公开信的原因。值得一提的是,原本的争议是 Anthropic 为何反对开放权重,联名信发布后,讨论却转向 AI 是否已经快到需要全行业协调减速。Anthropic 也从拒绝开放的一方,变成风险预警者,其中很难排除公关考量。但不管怎么说,一边要求为 AI 前沿建立减速工具,另一边担心安全叙事被用来封锁技术,两种立场几乎同时升温。联名信发布当天,Meta CEO 马克·扎克伯格在接受《纽约时报》采访时,对 OpenAI 和 Anthropic 所代表的路线发起了直接批评。他认为,少数实验室试图以安全为理由严密控制 AI,可能背离科技行业长期形成的开放价值,并压制后续创新。扎克伯格称,许多前沿实验室的公开讨论充满「末日论」,行业需要更多现实主义声音。Meta 提出的替代方案,是让每个人都拥有属于自己的个性化超级智能。Meta 早期通过 Llama 系列高举开源旗帜,试图利用开放生态追赶领先模型。随着模型竞争加剧,Meta 又斥资 143 亿美元投资 Scale AI,引入创始人 Alexandr Wang 重组 AI 部门,并将其升级为超级智能实验室。此后,Meta 开始推进闭源模型 Muse Spark,并首次尝试销售模型访问权限。开源项目仍在继续,商业和能力更强的模型却逐渐转向封闭。Altman 在采访中多次表示,自己最担心的风险之一,是 AI 带来的权力集中。他不希望未来出现一家公司的 AI 系统凌驾于社会之上。他也警惕某些安全主张演变成另一种垄断逻辑:先强调技术极度危险,再宣称只有少数机构具备控制它的资格。OpenAI 和 Anthropic 希望建立全行业协调机制,避免自动化研发进入无法控制的加速状态。英伟达和 Meta 更强调开放模型与分散权力,担心严格管制最终巩固头部公司的优势。缺乏约束,能力更强的模型可能迅速扩散风险;控制过严,少数公司又可能借安全之名掌握技术、算力、标准和政策制定权。减速机制必须避免两种结果。其一是监管被少数大公司影响,最终成为阻止新竞争者进入市场的门槛;其二是几家前沿实验室私下协调研发节奏,被外界视为合谋控制市场。AI 的发展速度确实越来越快,快到一线研究人员已经开始担心,人类是否还拥有足够时间理解并管理下一轮能力跃迁。谁有权决定速度,哪些公司需要遵守,哪些能力应该暂停,开放模型如何纳入管理,公司之间又如何避免有人继续秘密加速。1134 个签名表明,行业内部已经意识到刹车的重要性。真正悬而未决的,是方向盘和刹车最终会交到谁手里。✉️ 邮件标题「姓名+岗位名称」(请随简历附上项目/作品或相关链接)
转载说明:本文系转载内容,版权归原作者及原出处所有。转载目的在于传递更多行业信息,文章观点仅代表原作者本人,与本平台立场无关。若涉及作品版权问题,请原作者或相关权利人及时与本平台联系,我们将在第一时间核实后移除相关内容。