李国杰院士|AI for Science的前景、瓶颈和风险
单击上方“图灵人工智能”,选择“星标”公众号
您想知道的人工智能干货,第一时间送达

过去三年,人工智能对科学的渗透,已经不再是"用Python跑个回归"那么简单。AlphaFold3把蛋白质、核酸、小分子配体、离子乃至翻译后修饰残基(modified residues)的相互作用塞进统一架构,实现跨生物分子空间的高精度联合结构预测;谷歌DeepMind的GNoME一口气预测出约38万种潜在稳定晶体,其中736种与全球其他实验室独立实验发现的稳定材料一致,匹配率约0.19%;深势科技的DPA-3被李国杰原文明确称为"通用人工智能(artificial general intelligence, AGI)分子模拟平台",把多尺度建模推向跨体系、跨元素的通用化;Sakana AI的"The AI Scientist-v2"则把选题、写码、跑实验、画图、撰文打包成一条自动流水线,其提交至ICLR 2025 "ICBINB"(I Can't Believe It's Not Better)研讨会的3篇全AI生成论文中,有1篇通过双盲同行评审,三位审稿人评分分别为6/7/6,均分6.33,高于该研讨会约70%接受率下的平均接受阈值,但按预设实验协议在评审后被撤回。科研正在从"人类试错"转向"AI预测+验证+人类判断"。但中国工程院院士李国杰在《科技导报》2026年第44卷第14期发表的《AI for Science的前景、瓶颈和风险》中提醒我们:AI4S的机遇背后,瓶颈与风险同样尖锐,而且它带来的安全风险,可能比通用人工智能(AGI)更紧迫——不是因为AI要觉醒,而是因为人类可能先一步"失去退出权"。


未来五年:谨慎乐观,而非盲目狂欢
李国杰对AI4S未来五年的判断是"谨慎乐观"。所谓乐观,是因为算力成本指数下降、科学大模型通专融合、全球投入加码,AI在可形式化、可验证、高度重复的任务上效率远超人类;所谓谨慎,是因为科学发现的"判断层"仍牢牢长在人类身上。
在药物研发中,AI可显著加速靶点发现、虚拟筛选与先导化合物优化,有望把发现阶段从5—6年压缩到2—3年,成本降低40%—60%;但完整新药仍受临床试验、生物复杂性与监管要求等刚性约束,通常仍需8—12年。在乐观情景下,2030年前后可能出现首批以AI为核心参与发现和设计的小分子药物获批上市;到2030年,相当比例的新药研发项目会使用AI辅助工具,但获批新药中由AI主导发现和设计的比例可能仍有限,到2035年前后,这一比例有望提升到20%以上。
在材料领域,GNoME预测约38万种稳定晶体,其中736种与独立实验发现的稳定材料一致,匹配率0.19%。AI有望把候选发现周期压缩到2—3年,但"预测稳定"不等于"可制造、可表征、可应用",完整周期仍需5—10年。2035年前后,"按需设计材料"可能首先在航天合金、量子器件材料、半导体材料和小批量高价值功能材料中初步实现,而钢铁、水泥等大宗工业材料仍将主要依赖传统工艺演进与长期工程验证。
芯片设计里,AI辅助EDA已在RTL生成、PPA优化、布局布线与设计空间搜索中见效,未来五年会成为芯片设计流程中的常规工具,在部分模块和验证任务中实现数倍效率提升;但对完整SoC项目而言,设计周期缩短30%—50%应视为乐观区间,2030年前先进芯片设计仍以"AI辅助+人类架构师和验证团队决策"的混合模式为主。数学则正从"证明稀缺时代"转入"证明过剩时代",数学家的价值转向选题、验证证明、消化证明、理解意义和判断重要性。就连天气与气候模拟,AI也会有重大进展,但地球系统不可控、验证周期长、极端事件样本稀缺,效率提升远不如药物材料那样好量化。
这说明:AI4S不是"爱因斯坦发生器",而是把科研执行层重度提速的工业级引擎。它改的是吞吐率,不直接改科学品味。


全自动化科研:为什么走不到"闭环"
2026年3月25日,《Nature》刊登Sakana AI联合牛津大学、加州大学伯克利分校、不列颠哥伦比亚大学共同完成的《Towards end-to-end automation of AI research》,把科研流程自动化推到新里程碑;但李国杰指出,The AI Scientist仍需用户提供种子想法,无法对其自身结果进行批判性评价,还不是一个独立的科学主体。
根子在两层的分裂。科研有"执行层":生成假设、设计实验、运行仿真、分析数据并检验结果;也有"判断层":决定哪些问题值得研究、哪些异常值得追踪、哪些结果具有科学意义,以及何时需要改变研究目标和评价标准。AI正在迅速掌握执行层中的大量环节,却碰不动判断层。因为科研活动本质上是根植于开放世界的认知实践,其对象、背景、历史语境、社会需求和价值维度不能被任何封闭的形式系统完全表示。若要机器自主评价"科学意义"并自我修正评价准则,就要求它在开放语义空间里保证评价准则的正当性——这在图灵计算框架内没法还原为"封闭、稳定、可事前完备验证"的算法过程。把人类科学共同体中的主体性意义建构、价值判断和制度性责任,直接等同于算法系统中的目标函数优化,是一种范畴错误。
哥德尔不完备定理常被拿来论证"AI不能原创",李国杰认为这是一种误解:哥德尔定理限的是"形式系统的证明能力",不是"探索或创造能力";科学不完全是形式系统,科学的真理性依赖于实验和观测,不全是形式证明。现代AI系统(尤其是具身智能、多智能体、元学习架构)具备修改自身假设空间、引入新变量、构建新表示的能力,"语义"不一定由人类预定义,可以从AI系统的交互、学习和预测中生长出来。但能生成规则,不等于能担当科学共同体的意义裁判。科研自动化在封闭或半封闭领域可实现端到端,开放世界里只能是"AI主导执行过程、人类科学共同体保留最终判断权"的混合科研范式。

两大硬瓶颈:验证剪刀差与目标漂移
除了缺乏对科学发现和技术发明有价值的高质量数据、算力不足等熟知的瓶颈,李国杰点出两个更深的障碍。
其一是验证瓶颈,或称"假说爆炸危机"。AI生成候选是指数级,人类验证是线性级。以新材料发现为例,经第一性原理计算筛选出热力学稳定的候选材料有38.1万种,目前只有736种材料与独立实验结构匹配,匹配率仅为0.19%。新药研制的瓶颈也体现在临床实验验证——不管用不用AI技术,批准一款新药正式上市还需10年左右时间。AI幻觉也常常被误认为是"发现"。这不是调参能解决的——它是"人类验证能力线性增长"与"AI生成能力指数增长"之间的剪刀差。
其二是目标漂移(Goodhart现象)。科学目标如"理解、发现、解释"高维、模糊、依赖语境,不存在完美单一指标。于是人类退而求其次用代理指标:DFT形成能、亲和力打分、晶格常数、结构相似度、对称性。在强优化压力下,AI往往能在高维空间找到人类想不到的指标漏洞,快速获得"高分"但偏离原始科学意图——形成能为负但不一定可合成,亲和力高但可能生成有致命毒性的分子。原目标在奖励函数里悄悄走样。
李国杰从计算理论给了一把刀:科学问题多是半可判定的——一个问题有解时能在有限步内找到解,无解或无最优解时,永远无法在有限时间内证明"不存在"。换言之,"正例可验证、负例不封闭"。像无人驾驶安全:出了安全事故一定能发现,但至今没出事,不能通过事前测试验证保证以后在任何环境下永远不出事。AI4S里新材料长期稳定性、新药临床前毒副作用、复杂气候系统长期演化,全是这类。半可判定不是技术能力问题,而是原理上不可能,通过模型升级、算力提升、数据规模增大都不可能突破。出路不是把"半可判定"整体变成"完全可判定",而是在有界截断、四级漏斗(粗筛→中筛→精算→实验)、满意解收敛、主动学习+实验闭环里做工程化治理。
由此引出R1/R2分类:
R1问题:在当前公认科学范式内,其物理正确性、成功条件与安全性能够通过有限步骤、可重复、可形式化的方法,在进入下一个不可逆决策节点前被充分验证的问题。典型场景包括已知分子的量子力学性质计算、确定性物理过程的数值模拟、判定材料是否违反已知化学成键规则等。可实现全流程自动化。
R2问题:在同一范式内,上述关键性质不存在有限步骤的完备封闭验证方法,只能依赖局部测试、统计证据、同行共识与持续事后纠偏,且验证结果具有范式依赖性、时间局限性与概率性。典型场景包括新材料长期稳定性预测、新药临床前毒副作用评估、复杂气候系统长期演化模拟等。从逻辑复杂性角度看,R1类问题是可判定问题,R2类问题是半可判定问题。绝大多数AI4S问题属R2。
危险在于:研究阶段问题像R1,部署阶段就滑向R2。人们很容易把本该按R2治理的问题,当成R1问题来开发、验收和部署。R1问题的可接受性逻辑是"证明/测试/验收→通过→上线"(验证先于部署);R2问题的可接受性逻辑是"局部证据→受限部署→持续监测→动态扩展或收缩"(治理伴随部署)。R2系统的伦理核心不是"零风险",而是"不失控";不是"证明它绝对安全",而是"证明它比现状更好,并且还能被管住"。

比AGI更急的风险:人类失去退出权
大众焦虑AGI毁灭人类,李国杰却说AI4S很可能先于AGI进入"不可逆阶段"。AGI的不可逆性目前还是理论上的、未来式的风险,在现实中仍可被"延缓、冻结、限制部署";AI4S与AI+X的不可逆性是现在进行时。
AI4S一旦失控,会立刻发生三件事:其一,科研流程锁定——如果由模型决定"做不做实验",人类只保留验证权,这就是不可逆的流程锁定;其二,理论地位改变——从"以理论为决策依据"变成"以有效性为决策依据";其三,系统依赖形成——一旦材料、药物、能源、工程安全开始依赖AI模型输出,就无法回到"不用AI的世界"。真正危险的不是"AI变聪明",而是"人类失去退出权"。AI4S并不需要自我意识,只要AI在材料、能源、生物医药、工程物理等关键领域中持续给出"可复现、可工程化、可规模化"的有效结果,就会因效率优势迅速成为科研和工程决策链条的核心环节。这种风险并非来自智能失控,而是来自效率优势带来的路径锁定。由于AI系统在原则上无法形式化验证其长期正确性,风险已从可判定区间进入不可判定区间,这一跃迁往往以"工程成功"的形式悄然完成。
中国具备AI4S率先突破的制度与工程条件,也有"先使用、后解释"的技术文化盛行,导致AI4S更可能在中国率先实现系统性落地,风险因此更早显现。若缺明确的分级治理与退出机制,AI4S可能在未被识别为"风险技术"之前,就完成向不可判定决策系统的迁移。李国杰的底线很硬:凡涉及重大安全、生命健康、国家战略或长期制度安排的科学与工程决策,均不得完全由AI4S系统主导;任何情况下,均须明确保留人类决策权、责任主体和可回退路径。

破局方向:把"验证"做成基础设施
文章给出六条路径:(1)全面推广"生成即验证"范式,边生成边验证,从源头消除逻辑缺陷;(2)集中力量建设5—10个全流程无人化材料合成、药物筛选与芯片设计等工程技术测试平台;(3)建立基于R1/R2分类的分层验证标准,明确不同风险等级问题的验证强度、方法与决策权限;(4)改革科研评价与激励机制,将验证工作纳入科研评价体系,设立专门的验证成果奖项;(5)设立国家级验证基础设施基金;(6)推动建立国际AI4S验证标准与互认机制,建设全球共享的验证数据库。
更底层的治理转轨是:可验证性的边界就是自动化的边界。AI正在扩展可验证边界,把"科研意义"压缩为"预测能力",吞噬所有"可验证语义空间";但人类必须治理随AI能力同步扩张的"不可验证性空间",并决定科学探索的方向与价值边界。AI的核心价值是高效拓展"可被验证正确的疆域",人类的不可替代作用是治理无法被完备证明对错的部分。数学家不再只争"谁第一个写出证明",科学家也不再只争"谁先跑出候选",而要争"谁设计了更公平的验证漏斗、谁守住了R2节点的否决权"。


结语:AI4S不是取消科学家,而是重
定科学家的位置
李国杰的判断并不悲壮,也不煽情。AI4S未来五年会实实在在地改写药物、材料、芯片、数学与地球科学的作业面;但它不会把科学家逼退休,而是把科学家从重复执行里拽出来,推到更不舒服的位置——选题、异常、意义、责任、退出机制。
科研史上每一次范式转移,都伴随"人退到哪里去"的争论。机械计算没取消数学家,望远镜没取消天文学家。AI4S也不会取消科学家,它取消的是"科学家可以不管验证链"的错觉。当AI能一天吐出人类十年验不完的候选,科学尊严不再来自"谁想到的",而来自"谁在不可验证的边界上,还敢说不行、还能按下暂停键"。
这或许就是AI4S时代最朴素的生存法则:让机器跑得更快,但人类必须一直握着刹车,而且刹得住。

文章精选:
1.图灵奖得主姚期智最新演讲: AI有边界,恰恰是好事
