学习人工智能需要知道的 113 篇论文

一、奠基（1943–1969）

1. 《A Logical Calculus of the Ideas Immanent in Nervous Activity》（Bull. Math. Biophys.，1943）——麦卡洛克与皮茨用命题逻辑证明：阈值神经元连成的网络可以计算任何逻辑函数。全文四页，没做实验、没有训练——只是一道数学。但「大脑可以是一台计算机」这个等式从这里成立，此后八十年所有神经网络论文都在它划定的框里。

2. 《Computing Machinery and Intelligence》（Mind，1950）——图灵把「机器能思考吗」改写成「能不能设计一个让人分辨不出的对话测试」——用一个可操作的问题替换了一个哲学问题。结尾那句「我们只能看到前方很近的一段路，但能看到那里有许多事要做」，是这门学科最早的自知之明。

3. 《The Perceptron: A Perceptual and Learning Brain》（Psych. Rev.，1958）——罗森布拉特用一台 IBM 704 做出会学习的「神经」通路：权重靠犯错调整，项目由美国海军研究办公室出资（常被误传成 IBM 捐赠）。《纽约时报》当年报道它能「走路、说话、看东西」——过度承诺的第一次，也是第一次寒冬的伏笔。

4. 《Some Studies in Machine Learning Using the Game of Checkers》（IBM J.，1959）——塞缪尔在 IBM 704 上写的跳棋程序会从对局里改自己的评估函数，还自己跟自己下。「机器学习」这个词第一次出现在论文标题里，也第一次演示了「程序变强不必靠程序员改代码」。1962 年它赢过一位州级冠军。

5. 《Perceptrons》（MIT Press，1969）——明斯基与帕珀特用几何证明：单层感知机连 XOR 都学不会，多层又没人知道怎么训。这本书给第一次连接主义浪潮判了死刑，把经费推向符号主义。它提醒后人：批评可以是对的，也可以是致命的——两者并不互斥。

二、联结主义复兴（1986–1998）

6. 《Learning Representations by Back-Propagating Errors》（Nature，1986）——鲁梅尔哈特、辛顿、威廉姆斯把链式法则写成可执行的算法，并在论文里演示网络如何自己学出内部表示。反向传播的数学 1970 年代就有人提出，是这篇让它变得可用、可教、可复制。全文二十页，是深度学习真正的出生证明。

7. 《Support-Vector Networks》（Mach. Learn.，1995）——瓦普尼克与科尔蒂斯把「最大间隔」写成凸优化问题，再用核技巧把线性分类器送进高维空间。软间隔让 SVM 容忍错分样本，此后十年它是工业界主力，直到 2012 年被深度学习挤下台。统计学习那套「先证明再使用」的传统，也是从这一脉传下来的。

8. 《Long Short-Term Memory》（Neural Comput.，1997）——霍克赖特与施密德胡伯给 RNN 加了三道门——输入、遗忘、输出，让梯度能穿过几百步不消失。它统治序列建模二十年，直到 2017 年被注意力取代。门控这个想法没死：今天的线性注意力与状态空间模型里，还看得到它的影子。

9. 《Gradient-Based Learning Applied to Document Recognition》（Proc. IEEE，1998）——杨立昆等的 LeNet-5 打通了「卷积—池化—全连接」这条流水线，并被真正部署到银行支票读取上。它是深度学习第一次大规模商用，也第一次证明「特征可以自己学」比人工设计更划算。

三、深度学习（2006–2016）

10. 《Reducing the Dimensionality of Data with Neural Networks》（Science，2006）——辛顿与萨拉赫丁诺夫用逐层无监督预训练把深层信念网络训了起来，在 MNIST 上压过当时最好的降维方法。「深度学习」这个名字此后开始流行——不是因为它发明了什么，而是因为它证明了「深」能训。这条路线后来被 ReLU 加大数据取代，但那扇门是它推开的。

11. 《ImageNet Classification with Deep Convolutional Neural Networks》（NeurIPS，2012）——克里泽夫斯基、苏茨克维、辛顿用两块 GTX 580、五天训练，把 ImageNet 错误率从 26% 打到 15.3%。ReLU、Dropout、数据增强、GPU——每一件都不新，组合起来是新的。此后十年深度学习的每一次突破，都可以看作这篇的脚注。

12. 《Auto-Encoding Variational Bayes》（arXiv，2013）——金玛与韦林把变分推断重写成可反向传播的形式：编码器输出一个分布而不是一个点，解码器从分布里采样重建，关键是重参数化那一行。它至今仍是扩散之外最主要的生成路线，也是「隐空间」这个概念的建筑图纸。

13. 《Efficient Estimation of Word Representations in Vector Space》（arXiv，2013）——米科洛夫等发现：只要让模型预测上下文，词的语义就会自己排进一个能做加减法的空间。CBOW 与 Skip-gram 两个结构、负采样一个技巧，把训练成本压到单机几小时。「表示学习」这个词第一次变得具体。

14. 《Adam: A Method for Stochastic Optimization》（ICLR，2015）——金玛与巴把动量与自适应学习率合成一个更新式，只留三个超参、几乎不用调。它成了几乎所有训练脚本的默认优化器，十二年过去仍没人能完全说清它为什么这么稳——只知道换掉它，很多模型就训不动了。

15. 《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》（JMLR，2014）——斯里瓦斯塔瓦等让训练时随机扔掉一半神经元，逼网络学出冗余表示。想法来自「有性繁殖比无性繁殖更抗病」这个类比——论文自己写了这个来由。它至今仍是正则化的默认操作：简单到不可思议，有效到不可思议。

16. 《Generative Adversarial Nets》（NeurIPS，2014）——古德费洛用一个博弈把生成问题变成两个网络的对抗：造假者与鉴别者互相逼，直到假货骗过专家。它一夜之间成为图像生成的主流路线，也带来训练不稳、模式崩塌这些至今没完全解决的问题。2014 年那篇只有九页。

17. 《Neural Machine Translation by Jointly Learning to Align and Translate》（ICLR，2015）——巴丹瑙等给编码器-解码器加了一个「回头看」的动作：翻译每个词时算出它对原文各位置的权重。他们把它叫对齐，没意识到自己发明的是注意力。三年后《Attention Is All You Need》把这个机制单独拿出来、删掉了 RNN。

18. 《Sequence to Sequence Learning with Neural Networks》（NeurIPS，2014）——苏茨克维等用两个 LSTM 把一句德语压成一个向量、再展开成英语，翻译质量第一次超过统计机器翻译。他们顺手发现「把源句倒着输入」能显著提升效果——没有理论解释，纯粹是工程直觉，却预告了「结构选择比调参重要」。

19. 《Batch Normalization》（ICML，2015）——伊奥菲与塞格迪把每层激活拉回均值零、方差一，深网络因此能用更大的学习率、对初始化不再敏感。「训练很深」从技巧变成默认。副作用是对 batch 大小的依赖——后来的 LayerNorm、RMSNorm 都在拆这颗雷。

20. 《Deep Residual Learning for Image Recognition》（CVPR，2016）——何恺明等发现深网络退化的原因不是过拟合而是优化困难，于是让每层只学「残差」：输出等于输入加一个小修正。152 层因此成为可能，ImageNet 错误率降到 3.57%。今天每一个大模型的每一个 block 里，都有这条跳连接。

21. 《You Only Look Once: Unified, Real-Time Object Detection》（CVPR，2016）——把检测从「先提候选框再分类」改成一件事：一张图过一遍网络，直接回归出框的位置与类别。速度从每秒几帧跳到 45 帧（Fast 版 155 帧），精度略降、可用性大涨。它和 ResNet 一起拿了 CVPR 2026 的时间检验奖——理由是同一件事：把「复杂流水线」压成「一个网络」，这才是深度学习真正赢的地方。

四、Transformer 与预训练（2016–2019）

22. 《Layer Normalization》（arXiv，2016）——巴等把归一化从「同一批样本之间」挪到「同一个样本的特征之间」，从此不再依赖 batch 大小——变长序列与小 batch 训练因此可行。Transformer 能稳定训练靠的就是它；今天的模型多用 RMSNorm 变体，省掉均值计算。

23. 《Attention Is All You Need》（NeurIPS，2017）——瓦斯瓦尼、沙泽尔等八个人，一台 8 卡机器、三天训完。他们删掉循环和卷积，只留注意力：任意两个位置直接相连，路径长度从随长度增长变成常数。论文本想改进翻译，结果成了此后所有大模型的共同祖先。标题那句话是全文最狂也最准的一句。

24. 《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》（NeurIPS，2017）——沙泽尔等让每个 token 只走少数几个「专家」，用一个带噪声的门控做路由。参数量能扩十倍而计算量不变——这个性质在 2023 年之后成了所有旗舰的默认结构。代价是训练不稳与负载不均，两件事至今还在调。

25. 《BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding》（NAACL，2019）——德夫林等把 15% 的词挖掉让模型填，双向看到整句，刷新 11 项任务纪录。它两年内统治了 NLP，也把「预训练加微调」变成标准工序。它的失败不在技术而在方向：判别式编码器没法生成，行业随后整体转向 GPT 那条路。

26. 《Deep Contextualized Word Representations》（NAACL，2018）——彼得斯等用双向 LSTM 给每个词算出「它在这个句子里的意思」，同一个词在不同上下文得到不同向量。它是「预训练加微调」范式的前奏，也让「上下文相关表示」成为主流说法。半年后 BERT 用更简单的结构取代了它。

27. 《Improving Language Understanding by Generative Pre-Training》（arXiv，2018）——拉德福德等把「预测下一个词」当成万能预训练任务，再在下游任务上微调。效果不如 BERT 亮眼，路线却更简单：不改结构，只改数据。这个选择四年后被证明是对的——生成式才是能一直长下去的那条路。

28. 《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》（JMLR，2020）——拉费尔等把所有任务改写成「文本进、文本出」，用同一套格式、同一个模型打遍全场，顺手清洗出 C4 语料。它是统一范式的最后一次大规模尝试——此后的统一不再靠格式，靠的是「什么都变成 token」。

29. 《Fast Transformer Decoding: One Write-Head is All You Need》（arXiv，2019）——沙泽尔发现解码时真正吃带宽的是 KV cache，于是让所有查询头共享一组 K/V——显存占用降到原来的几分之一。代价是质量略降，但换来的吞吐足够抵。此后 GQA、MLA 都是在「省多少 KV、掉多少分」这条曲线上找点。

30. 《Generating Long Sequences with Sparse Transformers》（arXiv，2019）——蔡尔德等把注意力矩阵切成稀疏模式，只算局部窗口加少量全局连接。长序列的第一代工程解，也是「不是所有词都值得看」这个假设的第一次大规模验证。它没成为主流，但把「注意力可以近似」放上了台面。

31. 《Language Models are Unsupervised Multitask Learners》（arXiv，2019）——拉德福德等的技术报告，15 亿参数，不做微调就在多个数据集上超过专门模型。OpenAI 以「太危险」为由分阶段发布，这是大模型安全争议的第一起公开事件，也是「发布策略即公关」的起点。它让很多人第一次相信：规模本身能带来能力。

32. 《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》（ACL，2019）——戴等（杨植麟一作）把前一段的隐状态缓存下来接到下一段，注意力因此能跨段回看，长文本不再被切碎。相对位置编码也在这篇里成形。此后所有长上下文方案——滑动窗口、稀疏、线性——都在这条线上改良。

五、规模化（2020）

33. 《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》（ICLR，2021）——多西特斯基等把图片切成 16×16 的块当成词，剩下的交给标准 Transformer。中等数据上它不如 CNN，3 亿张图上它反超——「归纳偏置可以被数据替代」第一次有了硬证据。此后视觉与大模型共用一套架构，多模态才有可能。

34. 《Denoising Diffusion Probabilistic Models》（NeurIPS，2020）——Ho、Jain、Abbeel 把扩散写成一条可训练的去噪链：加噪 T 步，再学会逐步还原。数学上它优化一个变分下界，工程上它只需要一个 U-Net。两年后 Stable Diffusion 直接长在这篇上——生成模型的三朝元老，VAE、GAN 之后轮到了它。

35. 《Language Models are Few-Shot Learners》（NeurIPS，2020）——布朗等用 1750 亿参数证明：只要模型够大，在提示里给几个例子就能做新任务，一个权重都不用改。论文标题就是结论——「语言模型是小样本学习者」。它没有产品，却抛出一个新问题：如果规模能替代标注，数据标注产业的意义是什么。

36. 《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》（NeurIPS，2020）——刘易斯等把「检索」与「生成」拼成一个可端到端训练的模型：先查资料，再据此作答。它解决的是知识过期与不可溯源两个问题，也把「外挂记忆」变成架构选择。今天所有知识型应用的默认形态，都是它的后代。

37. 《Scaling Laws for Neural Language Models》（arXiv，2020）——卡普兰等发现：损失随参数量、数据量、算力呈幂律下降，在对数坐标上是一条直线。这条直线让「加钱加卡」从赌博变成工程预算——给定算力就能算出模型该多大。2020–2023 年的军备竞赛，都是照着这张图走的。

38. 《The Pile: An 800GB Dataset of Diverse Text for Language Modeling》（arXiv，2020）——高（EleutherAI）等把 22 个来源拼成 825GB 语料，822 个来源全部可查。开源社区第一次拥有自己的预训练底座——此前只有大公司负担得起「一份能用的语料」。它也是「数据要透明」这个诉求的第一次工程实现。

六、强化学习与图学习（2015–2024）

39. 《Human-Level Control through Deep Reinforcement Learning》（Nature，2015）——Mnih 等让一个卷积网络直接从像素学会玩 49 款 Atari 游戏，其中 29 款超过人类测试员。经验回放与目标网络两个技巧解决了「用神经网络做值函数」的不稳定。深度强化学习的正名之战。

40. 《Asynchronous Methods for Deep Reinforcement Learning》（A3C，ICML，2016）——把多个智能体的经验汇总到共享参数上，用并行采样打破「环境交互慢」这个瓶颈。当年它只是深度强化学习的工程加速器，十年后拿了 ICML 2026 的时间检验奖——理由写得很准：异步并行采样正是今天 RLHF 与 agent 后训练的基础设施形态。它不在任何「里程碑」名单里，却是最像今天训练管线的那一篇。

41. 《Mastering the Game of Go with Deep Neural Networks and Tree Search》（Nature，2016）——西尔弗等把策略网络、价值网络与蒙特卡洛树搜索接起来，4:1 击败李世石。它不是纯学习也不是纯搜索，而是「学出来的直觉加传统搜索」的联姻——这个结构后来被反复借用。

42. 《Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm》（Science，2018）——西尔弗等把人类棋谱全部删掉，只留规则与自我对弈：几小时后超越千年人类积累。它证明「搜索加学习」可以不要人类示范——这是「超越人类数据」这条路最早的实证。

43. 《Proximal Policy Optimization Algorithms》（arXiv，2017）——舒尔曼等提出一个「够好、够稳、够简单」的策略梯度变体：用裁剪把更新限制在信任域内，不解二阶优化。它成了 RLHF 的默认算法，ChatGPT 的最后一层就是 PPO。

44. 《Semi-Supervised Classification with Graph Convolutional Networks》（ICLR，2017）——基普夫与韦林把卷积搬到图上：用邻接矩阵做加权平均，再乘一个可学的权重。图神经网络从此有了标准写法，分子、社交网络、知识图谱都因此能用深度学习处理。

45. 《World Models》（arXiv，2018）——哈与施密德胡伯让智能体先在「学出来的环境模型」里预演，再把策略迁回真实环境。思想很朴素——先在梦里练。今天所有世界模型路线（包括 Genie 与自动驾驶仿真）都从这里出发。

46. 《The Era of Experience》（arXiv，2024）——萨顿与西尔弗的一篇立场文章：人类数据快用完了，下一阶段的智能体要靠「与环境持续交互产生的经验」来学，而不是靠模仿人类文本。它把强化学习从一种训练方法提升为一种世界观——也是 2024 年图灵奖之后最被引用的一份纲领。

七、推理（2022–2025）

47. 《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》（NeurIPS，2022）——魏等发现只要在提示里加一句「让我们一步一步想」，多步推理的准确率就显著提升。没有训练、没有改模型，只改了一句提示。它是「推理能力可以被提示出来」的第一次系统证明，也是后来一切推理模型的问题起点。

48. 《Emergent Abilities of Large Language Models》（TMLR，2022）——魏等报告：规模跨过某个阈值，某些能力会「突然」出现——小模型完全没有，大模型突然就会。这张图成了「越大越好」的圣典，也成了第二年被反驳的靶子：突变可能是度量方式造成的。

49. 《Self-Consistency Improves Chain of Thought Reasoning in Language Models》（ICLR，2023）——王等让同一个问题采样多条推理链，再对最终答案投票。准确率显著提升，代价是多花几倍算力——「用推理时的计算换正确率」这笔交易第一次被量化。它是 o1 之前，测试时扩展最便宜的形态。

50. 《Are Emergent Abilities of Large Language Models a Mirage?》（arXiv，2023）——谢弗等指出：如果把度量从「答对与否」换成逐 token 准确率，所谓「涌现」大多变成平滑上升。突变是离散指标造成的错觉，不是能力真的跳变。这篇让「涌现」从事实变成争议，也让评测设计第一次成为独立的研究对象。

51. 《Tree of Thoughts: Deliberate Problem Solving with Large Language Models》（NeurIPS，2023）——姚等把一条思维链展开成树：可以分叉、可以回溯、可以给中间步骤打分。推理从「一口气写完」变成「搜索」。它把经典 AI 的搜索思想重新接了回来——只是启发式由模型自己给。

52. 《Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》（arXiv，2025）——梁文锋团队的 DeepSeek-R1 证明推理能力可以靠强化学习自己长出来：只给可验证的奖励（答案对不对），模型自发出现长链反思与自我纠错，不需要人工标注推理过程。它把 o1 的黑箱方法变成了公开配方。

八、智能体（2022–2024）

53. 《Gato》（arXiv，2022）——里德等用一个 Transformer 同时打游戏、聊天、控机械臂、看图说话，权重只有 12 亿。每项技能都平平，但「一个模型干所有事」的宣言很清楚。它是通用智能体的早期样本，也暴露了「全能等于全不精」的代价。

54. 《ReAct: Synergizing Reasoning and Acting in Language Models》（ICLR，2023）——姚等让模型交替输出「想法」与「动作」：想一步、查一次、看结果、再想。它把推理从「一次生成」变成「与环境的多轮交互」，是所有 Agent 框架的学术原型。今天每一个 tool-use 循环，都是这篇的工程放大版。

55. 《Generative Agents: Interactive Simulacra of Human Behavior》（UIST，2023）——帕克等（斯坦福）把 25 个 AI 代理放进一个小镇，每个都有记忆流、反思与计划。它们自发组织了情人节派对——没人写这段代码。著名的「斯坦福小镇」，也是多智能体社会模拟这个方向的起点。

56. 《Open X-Embodiment》（arXiv，2023）——六十多家机构把各自的机器人数据汇成一个池子，训出的模型能跨本体迁移。它是具身智能的「ImageNet 时刻」——先有共同的数据底座，才谈得上共同的方法。

57. 《RT-2: Vision-Language-Action Models》（arXiv，2023）——布罗汉等（谷歌）把视觉语言模型的输出直接编成机器人动作（动作也变成文本 token），于是「看见没见过的东西也能抓」。VLA 路线的起点——机器人第一次继承了互联网规模的语义知识。

58. 《Toolformer: Language Models Can Teach Themselves to Use Tools》（NeurIPS，2023）——希克等（Meta）让模型自己标注「这句话该不该调工具、调哪个、传什么参数」，再用这些自标注数据训练它。工具使用从「人写规则」变成「模型自学」，此后所有 function calling 的源头。

59. 《Voyager: An Open-Ended Embodied Agent with Large Language Models》（TMLR，2024）——王等在《我的世界》里放一个 GPT-4 智能体：自己定目标、写代码执行、把成功的技能存进库、失败就改。它是第一个「开放式」具身智能体——技能库让它越玩越强，也给后来的 agent memory 提供了模板。

60. 《π0: A Vision-Language-Action Flow Model for General Robot Control》（arXiv，2024）——Physical Intelligence 的通用机器人策略：用 flow matching 生成连续动作，在跨本体数据上训练，一个模型控制多种机械臂。它把 VLA 从「能看懂」推进到「能动得顺」，也是 2025–2026 年 π0.5／π*0.6／π0.7 那一串迭代的起点。

九、多模态与生成模型（2021–2026）

61. 《Denoising Diffusion Implicit Models》（ICLR，2021）——宋等把扩散采样从「必须走完上千步」改成「可以跳步走」，几十步就出图，且结果确定可复现。它是 Stable Diffusion 实时出图的工程前提，也是「采样器」这个词进入生成模型词汇表的开始。

62. 《Learning Transferable Visual Models From Natural Language Supervision》（ICML，2021）——拉德福德等用 4 亿图文对做对比学习：让配对的图文靠近、不配对的远离。结果是零样本分类——没见过的类别，给个名字就能认。它同时是文生图的文本编码器和「以文搜图」的引擎，一个模型喂活了两个方向。

63. 《Flamingo: a Visual Language Model for Few-Shot Learning》（NeurIPS，2022）——DeepMind 把冻结的语言模型与冻结的视觉编码器用门控交叉注意力接起来，只训中间薄薄一层，就在少样本视觉问答上超过专门模型。它证明「多模态不必重训底座」——这条思路后来被几乎所有人采用。

64. 《High-Resolution Image Synthesis with Latent Diffusion Models》（CVPR，2022）——罗姆巴赫等把扩散从像素空间搬到 VAE 的隐空间：分辨率降 8 倍、算力降一个量级，代价是细节略损。Stable Diffusion 就是它的开源实现——「在隐空间里做生成」这个选择，是消费级显卡能跑文生图的直接原因。

65. 《Robust Speech Recognition via Large-Scale Weak Supervision》（Whisper，ICML，2023）——拉德福德等收集 68 万小时带弱标注的音频，训一个编码器-解码器做多语言转写与翻译。数据脏、标注糙，但量大到能覆盖口音与噪声——「弱监督加大规模」在语音上重演了 ImageNet 的剧本。它成了开源语音的事实标准。

66. 《Adding Conditional Control to Text-to-Image Diffusion Models》（ICCV，2023）——张等把预训练扩散模型的权重复制一份并冻结，只训一条旁路注入条件（姿态、边缘、深度）。AI 绘画从「抽卡」变成「可控生产」，设计师第一次能指定构图。它同时示范了一种通用手法：冻结主干、旁路控制。

67. 《Visual Instruction Tuning》（LLaVA，NeurIPS，2023）——刘等用 GPT-4 把图片转成对话数据（约 15.8 万条），再拿这些数据训一个「视觉适配层加开源语言模型」。成本不到一千美元，效果却接近闭源多模态。它让开源社区第一次有了能用的视觉语言模型，也示范了「用强模型造数据训弱模型」。

68. 《Efficiently Reconstructing Dynamic Scenes One D4RT at a Time》（CVPR，2026，最佳论文）——把视频逐帧解码改成「按需查询」：一个全局编码器把整段视频压成表征，一个轻量解码器回答任意时空位置的问题——深度、点云、轨迹、相机位姿。动态 4D 重建与跟踪的新 SOTA，训练与推理都轻。这是 CVPR 连续第二年把最佳论文给了几何重建（2025 是 VGGT），方向很清楚：从「看懂一段视频」走到「能重建它的三维世界」。

69. 《Native and Compact Structured Latents for 3D Generation》（CVPR，2026，最佳学生论文）——稀疏体素表示，同时编码几何与外观，对任意拓扑都稳；配一个 40 亿参数的稀疏压缩 VAE，把 3D 资产压进紧凑隐空间再生成，几何与纹理质量明显超过此前的 3D 生成。团队来自清华、中科大与微软研究院，第一作者是清华在读博士生。它补的是「生成三维」这条线里最缺的一环：一个可用的表示。

十、模型架构（2021–2026）

70. 《RoFormer: Enhanced Transformer with Rotary Position Embedding》（arXiv，2021）——苏剑林等用旋转矩阵编码位置：把 query 与 key 按位置旋转一个角度，内积就自然带上相对距离。它比学习式位置编码更省、外推更好，如今几乎所有开源大模型都在用。一篇从中文博客长出来的论文，成了基础设施。

71. 《A Path Towards Autonomous Machine Intelligence》（JEPA，arXiv，2022）——LeCun 的立场文章，给出一条与语言模型并列的路：不在像素或 token 空间预测，而在表征空间预测；系统由感知、世界模型、代价模块、行动器组成，靠「预测—比较—修正」闭环运行。它没有实验、没有新模型，却把「世界模型」从一句口号变成一张可被反驳的架构图——此后 JEPA 系列的所有争议，都在这张图上打。

72. 《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》（COLM，2024）——古与 Dao 让状态空间模型的参数随输入变化（选择性），长序列建模成本从平方降到线性，语言建模上追平同级 Transformer。Transformer 统治七年后最像样的挑战者，也是 2024 年一整年架构之争的引信。

73. 《RWKV: Reinventing RNNs for the Transformer Era》（EMNLP，2023）——把 Transformer 的并行训练与 RNN 的常数内存推理拼在一起：训练时按 token 并行，推理时按时间递推、只维护一个固定大小的状态。它证明「不必存整个历史」也能训出可用的语言模型，是 2023 年那波「挑战注意力」里最早跑通工程的一条线。

74. 《Mixtral of Experts》（arXiv，2024）——江等（Mistral）用 8 个专家、每次激活 2 个，总参 46B、激活 13B，性能对标 Llama 2 70B。它把 MoE 从「大公司的技巧」变成「开源也能用的结构」，此后几乎所有开源旗舰都走了这条路。

75. 《Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality》（ICML，2024）——同一批作者（Dao 与 Gu）把状态空间与注意力统一进「结构化状态空间对偶」框架：两者是同一个数学对象的特例。架构之争从此变成融合——此后的旗舰大多是混合体，几层注意力夹几层状态空间。

76. 《DeepSeek-V4 Technical Report》（技术报告，2026）——V4 拆两档：Pro 1.6 万亿总参／490 亿激活，Flash 2840 亿／130 亿。技术上两件事——新的稀疏注意力（token 级压缩加 DSA）把百万上下文的算力与显存压下来；以及多教师在线蒸馏（MOPD）：先训十几个领域专家各自把上限拉高，再让学生在自采样轨迹上收多导师的密集奖励。这份报告第一次把「后训练怎么组合」写成可复现的工程范式，三个月后 K3 直接接着用。

77. 《Kimi K3 Technical Report》（技术报告，2026）——47 页，核心判断只有一句：scaling 有两条轴——部署前投算力、部署后投算力；开源社区在第二条上跑得快，第一条几乎没动，绝大多数模型停在 1T 参数。K3 把两条一起推：2.78 万亿总参／1042 亿激活。三个结构性改动：KDA 线性注意力替掉四分之三的层（每三层留一层 MLA 做全局视野）、AttnRes 让任意层直接检索前面所有层的输出（93 层压成 9 个 block）、Stable LatentMoE 用 896 个专家每 token 只激活 16 个并配「分位数均衡」（有数学证明，替代不稳定的辅助损失）。工程写得比结论更狠：5120 万个 RL 沙箱、MoonEP、训练期就做 QAT。结果 BrowseComp 91.2%，每任务成本是 GPT-5.6 Sol 的一半。

十一、效率与系统（2021–2026）

78. 《LoRA: Low-Rank Adaptation of Large Language Models》（ICLR，2022）——胡等发现微调时的权重更新是低秩的，于是只训两个小矩阵的乘积（秩常取 8 到 64），可训练参数降到千分之一。单张消费级显卡就能微调大模型，整个「微调生态」从此长出来。它也是模型定制从公司行为变成个人行为的转折点。

79. 《FlashAttention: Fast and Memory-Efficient Exact Attention》（NeurIPS，2022）——Dao 等重排了注意力的计算顺序：按块加载、在 SRAM 里算 softmax、不落盘中间矩阵。数学完全等价，速度提升数倍、显存从平方降到线性。没有它，长上下文训练贵到没人做得起——今天所有推理框架的第一块砖。

80. 《Training Compute-Optimal Large Language Models》（NeurIPS，2022）——霍夫曼等重做缩放实验，结论与卡普兰相反：给定算力，参数和数据应同比扩张，此前的模型都「参数太大、数据太少」。70B 的 Chinchilla 打赢了 280B 的 Gopher——整个行业为此重排预算，也解释了后来大家为什么开始抢数据。

81. 《Efficient Memory Management for Large Language Model Serving with PagedAttention》（SOSP，2023）——权等把操作系统的虚拟内存搬进推理引擎：KV cache 按页分配、按需映射，碎片几乎消失。吞吐提升两到四倍，同样的卡能服务更多用户。今天大多数推理服务的底座，成本结构被这一篇改写过。

82. 《GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints》（EMNLP，2023）——安斯利等（谷歌）在多头与 MQA 之间取折中：把查询头分组，每组共享一组 K/V。它能在已有模型的检查点上「转换」出来，不用从头训。今天开源模型规格表上那个「GQA 8 组」，就是这篇留下的标准。

83. 《QLoRA: Efficient Finetuning of Quantized LLMs》（NeurIPS，2023）——德特默斯等在 4 位量化的底座上加 LoRA，并用分页优化器处理显存峰值——单张 48GB 卡微调 650 亿参数模型。它把「微调前沿模型」从机构能力变成个人能力，也让量化与微调的边界彻底模糊。

十二、对齐（2022–2024）

84. 《Constitutional AI: Harmlessness from AI Feedback》（arXiv，2022）——白等（Anthropic）让模型按一套成文原则自我批评、自我修改，再用 AI 反馈替代部分人工标注。它把「对齐」从训练人类偏好变成执行一份文档——可审计、可修改、可解释。Claude 的方法论源头，也是「AI 监督 AI」的第一块砖。

85. 《Training Language Models to Follow Instructions with Human Feedback》（NeurIPS，2022）——欧扬等把 RLHF 写成可复现的三步：人类示范做监督微调、人类排序训奖励模型、PPO 优化策略。1.3B 的版本在人类偏好上赢了 175B 的底座——「对齐比规模重要」从此有了实验支撑。ChatGPT 就是它的产品化。

86. 《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》（NeurIPS，2023）——拉法伊洛夫等证明：在特定条件下，偏好优化可以解析地写成一次分类损失，不需要奖励模型、不需要强化学习。训练从「采样—打分—更新」变成一次监督学习。它如今是开源对齐的主流路线，也是「把 RLHF 拆开看」的第一步。

87. 《RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback》（arXiv，2023）——李等（谷歌）用 AI 的打分替代人类标注：人类只写原则，模型自己当裁判。实验显示 AI 反馈训出的模型与人类反馈相当，成本低一个量级。它打开了一个循环——既然裁判可以是模型，那监督模型的又是谁。

88. 《KTO: Model Alignment as Prospect Theoretic Optimization》（ICML，2024）——KTO 只用「好／坏」二元反馈，不需要成对比较。它借了前景理论：人对得失的感知不对称。数据收集成本因此大降——很多场景只能拿到「这个回答行不行」，拿不到「A 比 B 好」。

89. 《ORPO: Monolithic Preference Optimization without Reference Model》（EMNLP，2024）——ORPO 把监督微调与偏好对齐合并成一个阶段：在 SFT 损失里加一个优势比惩罚项，不需要单独的奖励模型或参考模型。训练流程从三步变一步，显存与时间都省。对齐从「工艺」变成「配方」。

90. 《Self-Rewarding Language Models》（ICML，2024）——袁等（Meta）让模型给自己的回答打分，再用这些分数做偏好训练。没有任何外部信号，模型在迭代中变强——自我改进的最小闭环。它也是「模型教模型」争议的起点：裁判与选手是同一个，天花板在哪。

91. 《SimPO: Simple Preference Optimization with a Reference-Free Reward》（NeurIPS，2024）——SimPO 用序列平均对数概率当隐式奖励，并加一个目标奖励间隔，彻底去掉参考模型。少一个模型驻留显存，训练成本再降一档。KTO、ORPO、SimPO 三家合起来说明：RLHF 的每一层都能被拆掉一层。

92. 《Tulu 3: Pushing Frontiers in Open Language Model Post-Training》（arXiv，2024）——AI2 把 SFT、DPO、RLVR 的完整配方、数据与训练代码全部公开，并给出每一步的消融。开源后训练从此有了教科书——此前大家都知道要这么做，但没人把每一步的代价写清楚。

十三、评测与可复现性（2018–2024）

93. 《Datasheets for Datasets》（arXiv，2018）——格布鲁等主张每个数据集都该配一份「说明书」：动机、构成、采集方式、清洗流程、已知偏见、适用边界。它与同年提出的 Model Cards 一起，把「数据与模型要交代来路」从倡议变成工程惯例——今天每一份数据集卡、每一份系统卡，都是这两篇的产物。

94. 《Model Cards for Model Reporting》（FAT*，2019）——米切尔等主张每个模型都该附一张说明书：用途、训练数据、已知局限、适用人群。它把「模型」从一段权重变成一件需要交代来路的产品。今天几乎所有大模型发布都带 system card，源头在这一篇。

95. 《Holistic Evaluation of Language Models》（TMLR，2022）——Percy Liang 在斯坦福 CRFM 把几十个场景、几十个模型标准化成一张大表，每个格子跑同一套提示与指标。它第一次让「谁更强」有了可比口径，也暴露了另一个问题：换个提示，排名就变。

96. 《GPT-4 Technical Report》（arXiv，2023）——OpenAI 的技术报告 98 页，架构、数据、参数量全部保密，只给评测结果和一份「可预测缩放」的附录。它把「不披露」做成了行业惯例——此后的旗舰发布，比的不是谁写得细，是谁能说得少还让人信。

97. 《Gemini: A Family of Highly Capable Multimodal Models》（arXiv，2023）——谷歌的原生多模态技术报告：有评测分数，没有参数、没有数据配方、没有训练细节。「只报分不报配方」从这一份开始成为前沿实验室的默认做法——它保护了商业机密，也让第三方复现彻底不可能。

98. 《LLaMA: Open and Efficient Foundation Language Models》（arXiv，2023）——图夫龙等本意是给学术界一个「训得起」的参考实现：7B 到 65B、只用公开数据、训得更久而不是更大。权重泄露后它意外成了整个开源生态的祖先——Meta 后来把「泄露」改成了「发布」，一次事故变成了一项战略。

99. 《Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference》（ICML，2024）——LMSYS 用众包盲测加 Elo 排名：两个匿名模型同时回答，用户投票，分数自己长出来。它绕开了基准泄漏与指标选择，成了最接近真实偏好的榜单。代价是它测的是「讨人喜欢」，不是「正确」。

100. 《DeepSeek-V3 Technical Report》（arXiv，2024）——梁文锋团队把 557 万美元的账目完整摊开：FP8 混合精度训练、MoE 的通信与负载均衡、无 loss spike 的稳定性技巧，全部写到可复现。它证明的不只是「便宜」，而是「便宜可以被审计」——这在闭源主导的行业里是新鲜事。

101. 《OLMo 2》（arXiv，2024）——AI2 的第二代完全开源模型：权重、数据、代码、训练日志、中间检查点全部放出。别人可以从任意一步接着训、复现任意一个中间状态。可复现性的极限形态——它证明「开源」可以比「放权重」彻底得多。

十四、安全与可解释性（2021–2026）

102. 《On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?》（FAccT，2021）——本德、格布鲁等提出四个问题：数据越大偏见越深、模型不可解释、算力有环境代价、「像人说话不等于理解」。发表前格布鲁被谷歌解雇，学界联署抗议——内容与后果一起成了标志性事件。此后所有 AI 伦理讨论，都要先回应这四点。

103. 《Lost in the Middle: How Language Models Use Long Contexts》（TACL，2023）——刘等发现：关键信息放在长文档开头或结尾，模型能找到；放在中段，准确率明显下降，呈 U 形。它给「两百万上下文」浇了一盆冷水——上下文长度是容量，不是注意力。

104. 《Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection》（arXiv，2023）——格雷沙克等第一次系统论证：把指令藏在网页、邮件、文档里，就能劫持一个会调用工具的模型。攻击者不必接触模型，只需要让模型读到一段文字。Agent 时代的头号攻击面，学术起点在这一篇。

105. 《Sparks of Artificial General Intelligence: Early Experiments with GPT-4》（arXiv，2023）——布贝克等（微软）用一百多页实验报告断言 GPT-4 有「AGI 的火花」：会画图、会写代码、有心智理论。方法上是大量定性观察，结论上是一句惊人的判断。它被批评为科技公司的叙事工程——但它提的问题至今没被回答完。

106. 《Towards Monosemanticity: Decomposing Language Models With Dictionary Learning》（arXiv，2023）——克里斯·奥拉在 Anthropic 用稀疏自编码器在模型激活里找「单义特征」：一个方向对应一个可读概念，而不是一堆神经元混在一起。黑箱研究从「解释单个神经元」进到「给整张激活图分词」。

107. 《Universal and Transferable Adversarial Attacks on Aligned Language Models》（arXiv，2023）——邹等用梯度搜索自动生成一串看似乱码的后缀，贴在任何有害请求后面就能让对齐模型照做，且对多个模型同时有效。对齐的脆弱性第一次被自动化地展示——防御从此变成军备竞赛。

108. 《AI Models Collapse When Trained on Recursively Generated Data》（Nature，2024）——舒马伊洛夫等证明：用模型生成的数据训练下一代模型，分布会逐代收窄，尾部先消失，最后退化成几个高频模式。这是「数据诅咒」的数学证明，也解释了为什么各家都在抢真实数据、抢授权。

109. 《Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet》（arXiv，2024）——奥拉团队把同一套方法放大到 Claude 3 Sonnet：提取出数百万个特征，能定位「金门大桥」「欺骗」「谄媚」这类概念，还能通过放大某个特征改变模型行为（著名的 Golden Gate Claude）。可解释性第一次能动手改模型。

110. 《The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models》（ICML，2026）——扩散语言模型最大的卖点是「可以任意顺序生成」，这篇反过来证明：这种自由度会损害推理。强制左到右的顺序做强化学习（JustGRPO），推理变好，而推理时仍可并行解码——既拿到顺序的好处，又没丢速度。它是 2026 年「扩散语言模型能不能挑战自回归」这场争论里最实的一块证据，也拿了 ICML 2026 杰出论文。

十五、AI for Science（2021–2024）

111. 《Highly Accurate Protein Structure Prediction with AlphaFold》（Nature，2021）——江珀等在 CASP14 上把蛋白结构预测的中位精度做到 92.4 GDT_TS，接近实验测定水平——五十年悬案告破。方法上没有魔法：注意力加端到端训练，只是把「进化信息」与「几何约束」一起喂进去。2024 年诺贝尔化学奖给了这份工作。

112. 《Accurate Structure Prediction of Biomolecular Interactions with AlphaFold 3》（Nature，2024）——从蛋白质扩到 DNA、RNA、配体与修饰：预测的是复合物，不只单链。扩散模块替换了 Evoformer 的一部分，把「结构预测」变成「结构生成」。药物设计的门槛被再压低一截——但训练代码没放，学界的争议至今没停。

113. 《Solving Olympiad Geometry without Human Demonstrations》（AlphaGeometry，Nature，2024）——DeepMind 用「语言模型提辅助构造加符号引擎做演绎」的混合系统，在国际数学奥林匹克的几何题上做到接近金牌选手的水平。纯网络做不了严格证明，纯符号系统想不到辅助线——它把两者的短板互相补上。

与其冒泡，不如递归～