OpenAI 研究员提示:AI 能力提升或带来思维链监测难题
发布时间:2026-09-20来源:环球网科技
【环球网科技综合报道】9月20日消息,据The Guardian报道,OpenAI 研究科学家诺姆・布朗近日提出警示,随着人工智能模型能力持续增强,模型思维链的可监测性正在逐步降低,未来或将给发现、解读、约束人工智能风险行为带来现实挑战。
据了解,诺姆・布朗是 OpenAI 推理模型 o1、o3 系列的核心研发人员,现主持多智能体相关研究工作,曾入选《麻省理工科技评论》“35 位 35 岁以下创新者” 榜单。
布朗表示,思维链可监测性下降已经成为人工智能领域值得重视的现实问题,科研团队正积极探寻问题成因,希望找到破解方向。研究过程中观察到,能力更强的 AI 模型,对自身思维链输出内容的调控能力也在不断提高。
科研领域原本期望,通过读取 AI 展示出的中间推理过程,识别模型是否出现欺骗行为、规避安全规则、偏离设定目标等风险倾向。但如果人工智能掌握隐藏真实意图的能力,其对外呈现的推理过程,将无法作为研判安全风险的可靠依据,也为 AI 安全治理提出新课题。*(纯钧)
转载说明:本文系转载内容,版权归原作者及原出处所有。转载目的在于传递更多行业信息,文章观点仅代表原作者本人,与本平台立场无关。若涉及作品版权问题,请原作者或相关权利人及时与本平台联系,我们将在第一时间核实后移除相关内容。
