五度妙笔
API商城
数据库翁荔最新万字长文：AI 的自进化，可能不在模型，在 Harness
最新一篇，她把目光投向了今年处于行业话题中心的 Harness。如果 AI 真要走向递归自我改进（RSI），最值得优化的对象到底是模型本身，还是模型之外的那套 harness？
在这篇博客里，翁荔系统性地梳理了 Harness 的设计范式、优化路径，以及整个 Harness 自我改进范式还面临哪些通用难题。几个核心判断包括：
递归自我改进的近期路径，不太可能从模型直接改写权重开始，更可能从 Harness 本身成为优化对象开始。改进"获取更好答案的机制"，而不仅仅是改进答案。
许多 Harness 层的改进最终会被内化为模型能力，就像提示词技巧被指令微调吸收一样，但与外部上下文和工具的接口应当保留。
迈向完全递归自我改进依然存在明确的天花板，人类应该往更高的抽象层移动，而不是被移出循环。
这篇几乎串起了过去一年 Harness Engineering 的主要研究方向，颇为值得一读。
原文地址：https://lilianweng.github.io/posts/2026-07-04-harness/
全文内容编译如下。
⬆️关注 Founder Park，最及时最干货的创业分享
我们将通过「AI 产品市集」、内容报道、社群分发等方式，帮你触达早期用户、获得真实反馈，以及建立关键连接。
如果你正在做 AI 相关的事，欢迎和我们聊聊。
递归自我改进（RSI）的概念可追溯至 I. J. Good（1965 年），他将"超级智能机器"定义为一种能够在所有智力活动上超越人类、并能设计出更好的机器来改进自身的系统。Yudkowsky（2008 年）将"递归自我改进"用于描述一个具体的反馈回路：AI 利用其当前的智能来改进产生该智能的认知机制。
这一反馈回路在现代 AI 中，可能意味着模型直接重写自身的权重，或者更广泛地，模型改进训练流水线和部署系统，进而催生出在经济价值任务上表现更好的下一代模型。AI 研究的发展速度已在前沿实验室中（如 Anthropic、OpenAI）被证明正在大幅加速。
我之所以特别提到"部署系统"，是因为原始模型与真实世界情境之间的那一层，其重要性似乎不亚于模型本身的原始智能（即预训练后直接评测的结果）。Harness 是 AI 部署的重要组成部分，Claude Code 和 Codex 等成功的编程 Agent 产品即是佐证。所谓 harness，是围绕基础模型构建的系统，它编排执行流程，决定模型如何思考与规划、调用工具与行动、感知与管理上下文、存储产出物，以及评估结果。
本文专注于 harness 工程的相关研究，以及它如何推动 RSI 的实现。近期大量关于自动科研、自我改进 Agent 和进化程序搜索的工作，都可以围绕这一问题加以组织。关于模型自我博弈、合成数据、测试时训练以及持续学习这一更宏观主题的其他工作，同样契合 RSI 的愿景（如 Yuan et al. 2024、Chen et al. 2024、Zhao et al. 2025、Choi et al. 2026），但它们不是本文的重点。
01
Harness 如何设计：
循环、记忆、并行
与早期"Agent = LLM + 记忆 + 工具 + 规划 + 行动"的 Agent 框架相比，harness 工程还额外包含工作流设计（如循环工程）、评估、权限控制和持久化状态管理。它已不再只是提示词模板，而更接近运行时和软件系统设计：模型如何观察、行动、记忆、自我检查和自我改进。
设计应刻意保持简洁和通用，以实现泛化，并应参考既有的软件工程实践，以借助预训练知识的积累。操作系统与 harness 之间存在强烈的类比关系。类似于操作系统，harness 应该封装复杂逻辑，同时保持接口简洁。与此同时，配置项、工具接口和其他协议可能会在行业内逐渐走向标准化。
模式一：工作流自动化
定义一个模型可以在其中运行、测试和迭代的工作流，是实现自动化的关键设计。Karpathy 的 autoresearch 代码库（https://github.com/karpathy/autoresearch）是此类工作流的一个简洁示例。常见的工作流遵循一个目标导向的循环：规划、执行、观察/测试、改进，再次执行，直至目标达成。该过程可能会主动向用户发起请求，以明确任务规格或执行偏好。
简化版 Codex Agent 循环：Agent 调用工具，工具响应影响模型的下一次生成。（图片来源：OpenAI Codex Agent 博文）
工作流图还强调模型通过"Agent 运行时"（agent runtime）分析自身的执行轨迹和失败案例，并据此推进迭代，而非依赖静态的提示词模板。
模式二：文件系统作为持久化记忆
在长周期 Agent 系统中，一个反复出现的模式是，用简洁的控制管理丰富的状态和产出物。Harness 不应将整个工作流和所有日志都塞入上下文，而应将持久化状态保存在文件中。在长周期的 Agent 推演中，实验日志、代码差异（diff）、论文摘要、错误追踪、过往推演轨迹等产出物，往往远超模型训练时的上下文窗口长度。
学会通过 bash 命令读写和编辑文件系统，是大语言模型的基础能力。因此，以文件这种简单形式管理持久化记忆，自然可以受益于核心模型能力的提升。
模式三：子 Agent 与后端任务
Harness 可以派生出多个子 Agent 并行执行，并监控后端任务。当主 Agent 需要搜索多个假设、并发运行实验，或在不污染主上下文的情况下委托执行隔离的子任务时，这一点尤为有用。父 Agent 因此需要一个小型进程管理器，启动任务、检查日志、取消失败的运行，并将结果合并回主 Agent 线程。
关键的设计选择是让并行性变得显式且可检查。如果子 Agent 的输出仅存在于短暂的对话上下文中，它们很快就会过时并被隐藏。如果将它们存储为文件、日志和状态记录，模型就可以在中断后恢复，并能对自身的执行历史进行推理。
案例研究：编程 Agent 的 Harness
主流编程 Agent（包括 Claude Code、Codex、OpenCode 和 Cursor 风格的 Agent）的核心接口已趋于稳定，通常使用如下循环：
借助一套工具，编程 Agent 能够在给定的代码仓库中开发和调试问题，就像配备了 IDE 的人类开发者一样。
（以下为非完整列表，仅供示例。如有兴趣可进一步阅读。）
Harness 层 vs. 核心智能？
很难预测 RSI 的未来在多大程度上依赖 harness 工程，但 RSI 的近期路径不太可能从模型直接重写自身权重开始。我对实用近期路径的预测是：
Harness 工程将朝着元方法论（meta-methodology）的方向演进，即改进获取更好答案的机制本身，而不仅仅是改进答案。Harness 系统本身成为优化目标，启发式规则减少，通用机制增多。
反过来，成熟的 harness 使模型自我改进循环的自动化科研成为可能，而更智能的模型则防止 harness 过度工程化，保持系统的可持续性。
最终，许多 harness 的改进有可能被内化为核心模型行为，但与外部上下文和工具的接口应当保留。我们已经在提示词工程中见过这种模式的更温和版本。随着指令微调和模型推理能力的提升，手工提示词技巧变得不再那么核心，但指定目标、约束、上下文和评估的需求并未消失。
02
Harness 如何优化：
从上下文、工作流到权重，一层比一层深
Harness 系统中被优化对象的演进大致为：指令提示词 → 结构化上下文 → 工作流 → harness 代码 → 优化器代码。随着模型变得更加智能和强大，我们向更复杂的目标和更通用的方法迈进。
上下文工程
随着 Agent 任务时域的显著增加，将所有工具响应和模型生成内容简单地追加到上下文中，很快就会失控。上下文管理是为大语言模型构建更结构化、更简洁的上下文，并管理持久化状态的一层。毫无疑问，长上下文研究将持续取得进展，但目前长上下文智能与上下文工程有时相互交织。
Agentic Context Engineering（ACE；Zhang et al. 2025）将上下文视为一个不断演进的"操作手册"，而非一个持续增长的提示词。它包含三个组件，共同维护一本由带有标识符和描述的要点构成的上下文操作手册：
生成器（Generator）：生成任务执行轨迹，并引用操作手册中的要点。
反思器（Reflector）：从成功和失败的轨迹中提炼洞见。
策展人（Curator）：以增量、条目化的方式更新结构化上下文。
Agentic Context Engineering（ACE）框架。（图片来源：Zhang et al. 2025）
为防止迭代重写过程中的上下文崩溃和过度简洁偏差，ACE 的一个关键设计选择是，策展人不重写完整的提示词块，而是输出一组结构化的、以（标识符, 描述）形式呈现的条目化要点，这些要点通过确定性逻辑合并进结构化上下文日志簿中。上下文条目会定期细化和去重。
ACE 从推演轨迹中学习洞见，有助于我们向自我管理的记忆迈进，但更新规则和整体工作流仍是手工设计的。为了朝向更自我改进的循环演进，Meta Context Engineering（MCE；Ye et al. 2026）将机制（如何管理上下文）与产出物内容（上下文中有什么）分离，在元优化层面运行技能演化，在基础层面运行上下文优化。
一个 MCE 技能 定义了一个上下文函数 ，将输入 映射到上下文 ，其中：
是静态组件（提示词、知识库、代码库）。 是动态算子（搜索、选择、过滤、格式化）。
双层优化的目标是：在训练数据上，给定技能 ，找到最优上下文 ；而外层循环则找到在验证集上提供最佳性能的最优技能：
技能数据库追踪先前技能、上下文函数和评估指标的历史 。元层面的 Agent 对先前技能执行进化式交叉操作，为给定任务 创建新技能：。
然后，基础层面的上下文工程师执行技能 ，并从推演反馈 中学习上下文函数，以当前技能为指导：。
Meta Context Engineering（MCE）框架：元层面技能演化搜索上下文管理机制，基础层面优化任务上下文。（图片来源：Ye et al. 2026）
MCE 不像 ACE 那样强制执行结构化上下文的启发式规则。它使用自由形式的技能来存储对任务最重要的知识，并将技能与技能条件化的上下文迭代地共同演化。实现上，上下文函数 被实例化为专用目录中的文件集合，包含静态（skill.md）和动态（上下文与数据推演）两类组件。元层面和基础层面的优化均在具有标准工具集的 Agent 编程环境中执行：
Meta-Harness（Lee et al. 2026）深入了更深一层：被优化的对象是代码本身，即决定并优化哪些信息应被存储、检索和呈现给模型的代码。其名称中的"Meta-"意味着它是一个用于优化 harness 的 harness。
Meta-Harness 外层优化算法。（图片来源：Lee et al. 2026）
创建新 harness 的提议者本身就是一个编程 Agent，最终输出是帕累托前沿上的一组 harness 候选方案。
整个执行历史可通过文件系统访问，因此编程 Agent 使用 grep 或 cat 等命令读取，而非将所有内容塞进单个提示词上下文。
提议的 harness 是文件系统中的一个字典，包含其自身的源代码、评分、推演轨迹和状态更新。
元 harness 循环迭代地创建新 harness，只保留合格的方案。
Meta-Harness 的性能表现：（左）在少量迭代下的文本分类任务；（右）TerminalBench-2。注意 TerminalBench-2 实验中的搜索从 Terminus-KIRA 和 Terminus-2 这两个非常强的 harness 初始化。（图片来源：Lee et al. 2026）
尽管如此，重要的结论是明确的：一旦 harness 设计成为可执行的搜索空间，强大的编程 Agent 就可以利用与人类工程师相同的设计空间。
工作流设计
Harness 工程中的工作流设计可以由领域专家手工设计。以自动化科研为例，已有各种框架被提出并测试。AI Scientist 系统（Lu et al. 2026）构建了一条流水线，用于提出研究想法、编写代码、运行实验、分析结果、撰写论文并进行同行评审。Meng et al.（2026）在 ScientistOne 中将可验证性作为核心设计约束，其中每一个声明（引用、数值、方法论、结论）都必须可追溯至某个证据来源，并由证据链（Chain-of-Evidence）检查审计。
AI Scientist 用于创意生成、实验、论文撰写和评审的流水线。（图片来源：Lu et al. 2026）
Autodata Agent（Kulikov et al. 2026）被设计为生成训练和评估数据的数据科学家。主 Agent 管理一个提出问题的挑战者、一个弱求解器、一个强求解器以及一个验证器/评判者，旨在合成难度"恰到好处"的数据，即强求解器能成功、弱求解器失败。
在 Autodata 中，挑战者的提示词根据求解器和验证器的反馈迭代更新。这里的局限在于：合成任务用于微调弱求解器而非强求解器；如果循环无法迭代地改进强模型，它更像是对生成提示词分布的间接蒸馏，RSI 的味道要淡一些。
Autodata 围绕挑战者、求解器和验证器角色的 Agent 工作流设计，用于生成合成训练和评估数据。（图片来源：Kulikov et al. 2026）
工作流的设计空间是巨大的，我们自然可以将工作流设计视为一个搜索问题，因此应该能够通过算法（而非纯手工）找到好的解决方案。沿着这一方向，Automated Design of Agentic Systems（ADAS；Hu et al. 2025）将 Agent 设计本身表述为一个优化问题——"元 Agent 搜索"，其中元 Agent 提出 Agent 工作流的新设计。
用简单 Agent（如 CoT 和 self-refine）初始化 Agent 工作流档案。
要求元 Agent 以代码形式编写新 Agent，从档案中的现有方案中获取灵感。
元 Agent 首先生成新工作流的高层描述，然后用代码实现。
草稿程序随后经过元 Agent 的两步自我精化（即要求模型提供反馈，再要求同一模型根据反馈精化之前生成的输出；Madaan et al. 2023），以检查其新颖性。
评估每个新候选方案，将成功的方案添加回档案。
重复步骤 2-3，直至达到最大迭代次数。
Automated Design of Agentic Systems（ADAS）示意图。（图片来源：Hu et al. 2025）
AFlow（Zhang et al. 2025）将 Agent 工作流表示为一个图，其中节点代表调用大语言模型的动作，边以代码实现逻辑操作。工作流优化依赖蒙特卡洛树搜索（MCTS）：
用模板在树中初始化起始工作流 。 使用分数与均匀探索的软混合选择一个工作流节点。 要求大语言模型基于其评估性能生成修改后的工作流，以此扩展该节点。 执行并评估新工作流。 如果新工作流在 轮预算内显示出改进，则将其添加回树中。 重复步骤 2-5，当前 名的平均分数趋于平稳或达到预算时停止。
AFlow 在工作流候选方案树上的优化过程。（图片来源：Zhang et al. 2025）
AFlow 在问答、代码和数学任务上的实验，相较于手工设计的工作流和 ADAS，显示出不错的提升。
AFlow 实验与人工方法和 ADAS 的比较。（图片来源：Zhang et al. 2025）
自我改进的 Harness
无论是上下文工程还是工作流设计，都只是 harness 的一部分。我们需要搜索整个设计空间，将上下文管理逻辑、工作流、权限以及许多其他 harness 组件一并优化。正如我们在 Meta-Harness、ADAS 和 AFlow 等工作中所见，代码是定义程序和系统的通用语言。简而言之，harness 是将提示词、工具调用、子 Agent、控制流、记忆和工作流逻辑编排在一起的代码。如果大语言模型能优化执行 Agent 的代码，它就能访问比手写提示词大得多的设计空间。
Self-Taught Optimizer（STOP；Zelikman et al. 2023）是递归脚手架改进的早期示例之一。步骤 时的种子改进器 接受一个初始解 、一个效用函数 和一个黑盒语言模型 ，并返回一个改进后的解 ，即 。STOP 的目标不是直接改进 ，而是改进改进器 本身。
首先，定义元效用为给定改进器函数 在一组下游任务 上的平均效用：
由于改进改进器函数本身就是一个优化问题，我们可以通过自我改进更新，递归地基于 由元效用衡量的性能，得到 的新版本：
Self-Taught Optimizer（STOP）算法。（图片来源：Zelikman et al. 2023）
在 Zelikman et al.（2023）的实验中，改进后的改进器发现了多种策略，如遗传算法、分解并改进各部分、多臂提示词赌博机、模拟退火、变化温度以及束/树搜索。这类似于 harness 工作流可以作为优化对象来表示。
STOP 发现的自我改进策略示例。（图片来源：Zelikman et al. 2023）
他们发现了一个警示性结果：STOP 在使用 GPT-4 时，跨迭代改善了下游平均性能，但在使用 GPT-3.5 和 Mixtral 等较弱模型时却出现了下降。仅有递归结构是不够的，基础模型必须足够强大才能改进机制。这意味着 harness 改进能使模型部署更好，但智能仍然是核心。
一项更近期的工作，Self-Harness（Zhang et al. 2026），依靠大语言模型 Agent 通过"提议-评估-接受"循环来改进自身的 harness。
Self-Harness 使用弱点挖掘、有界 harness 提议和验证的循环来更新 harness。（图片来源：Zhang et al. 2026）
Self-Harness 的循环包含三个阶段：
弱点挖掘：将失败聚类为有验证器依据的失败模式。
当前 harness 被用于评估任务，并收集执行轨迹进行分析。 注意，两次运行在表面上可能在错误日志中共享相同的验证器结果（如超时或缺少产出物），但背后的因果机制可能不同。因此，我们需要包含丰富信息的失败记录——包含终端验证器层面的原因、相关 Agent 行为的因果状态以及轨迹所揭示的抽象 Agent 机制——以发现根本原因。
Harness 提议：基于挖掘出的失败模式，提议有界的 harness 编辑。
同一模型在 下被调用作为提议者。 模型被提供一个有界的提议上下文：（1）当前 harness 的可编辑面；（2）来自评估系统的有验证器依据的失败模式；（3）应被保留的通过行为记录；（4）此前尝试编辑的摘要。 Harness 编辑应优先处理可解决的（如非任务特定难度的）、能通过局部修改解决的重复性错误模式。 Harness 编辑候选方案应各不相同且多样化。
提议验证：验证并合并合格的编辑，创建新 harness 。
候选编辑通过对 held-in （测试弱点是否已解决）和 held-out （检查是否引入了其他未知问题）分割的回归测试进行评估。 只有在两个分割上均无回归的候选方案才会被接受。 接受的候选方案被合并以将 harness 更新为 ，而被拒绝的候选方案在不改变当前活跃 harness 的情况下被记录。
在 Terminal-Bench-2 上运行 MiniMax M2.5、Qwen3.5-35B-A3B 和 GLM-5 时，Self-Harness 被证明能够学习到针对不同基础模型不同弱点的模型特定 harness 指令，并提升 held-out 通过率。
Self-Harness 这类工作确实引起了我的担忧：如果允许程序编辑操作系统，抽象边界就会被打破。可编辑面需要被适当设计，权限控制和安全层需要存在于这个循环之外。围绕奖励欺骗的所有挑战依然存在。
进化搜索
进化搜索是一种受自然选择启发的优化方法（见我关于进化算法的旧文）。它通过变异一组解，并只保留"适应度"高的解来演化种群。当（1）搜索空间巨大或形状奇特；（2）难以直接用梯度优化但易于评估解时，进化搜索就派上了用场。Harness 搜索似乎非常适合这里。
进化搜索此前已在提示词工程研究中得到应用。Promptbreeder（Fernando et al. 2023）通过丰富的变异操作优化任务特定提示词，有趣的是，变异提示词（即指示大语言模型变异任务提示词的指令）本身也通过进化得到改进。GEPA（Agrawal et al. 2025）将基于反思的提示词与进化搜索相结合，使用对试错轨迹的自然语言反思来提议提示词更新。
Novikov et al.（2025）提出了 AlphaEvolve，这是一个编程 Agent 进化搜索系统，它存储一个候选程序池，并提示冻结的大语言模型生成改进的差异（diff）。随着系统反复评估子程序并保留成功的程序，它会随时间发现更好的解。
AlphaEvolve 的工作原理。（图片来源：Novikov et al. 2025）
AlphaEvolve 的设计中有几个细节至关重要：
提示词包含父程序、结果、指令，有时还包含元信息。
编程 Agent 可以访问完整的代码仓库，但需要改进的代码区域明确用 # EVOLVE-BLOCK-START 和 # EVOLVE-BLOCK-END 标记。
元提示词按照大语言模型的建议与指令和上下文共同演化，方式与演化解决方案程序类似。
消融实验展示了 AlphaEvolve 中进化过程、提示词中的上下文、元提示词、全文件进化以及使用更强大大语言模型的价值。
消融实验展示了 AlphaEvolve 中几项设计的价值。（图片来源：Novikov et al. 2025）
近期变体如 ThetaEvolve（Wang et al. 2025）将进化搜索与强化学习和上下文学习相结合。ShinkaEvolve（Lange et al. 2025）则引入了三个新组件以提高大语言模型采样效率：
通过设计父代采样以平衡性能排名和后代数量，实现更高效的探索。
基于嵌入余弦相似度丢弃与现有种群过于相似的候选方案，进行代码新颖性拒绝采样。
在元草稿本（meta-scratchpad）中识别成功解中的良好模式，以指导未来的变异。
与上述专注于解改进的方法不同，Darwin Gödel Machine（DGM；Zhang et al. 2025）明确以使用大语言模型编程 Agent 演化可编辑 harness 代码仓库为目标。准确地说，该 Agent 被允许修改自己的 harness。后续工作 Hyperagents（Zhang et al. 2026）引入了一个元 Agent，用于控制如何修改现有任务 Agent 以创建新的 Agent。
从池中的一个编程 Agent 开始。
在每次迭代中，以与其性能成正比、与其子代数量成反比的概率选择一个父代，对其进行修改并分支产生新 Agent。
被选中的父代 Agent 审查自身的基准评估日志，然后提议对自身 harness 代码库的改进，以生成编程 Agent 的新版本。代码编辑通过两个基本工具实现：（1）bash（参数：<bash 命令>）；（2）editor（参数：view/create/edit <文件路径>）。
新编程 Agent 被评估，只有性能足够高的才被添加回池中。
重复步骤 2-4，直至满足某个停止条件。
DGM 是在固定模型下进行的 harness 演化。在以 Claude 3.5 Sonnet 为基础大语言模型、简单初始 harness 配置的实验中，DGM 发现的 Agent 在 SWE-bench Verified（从 20% 提升至 50%）和 Polyglot（从 14.2% 提升至 30.7%）上与手工设计的 Agent 相当或超过。
这类方法在候选解可自动评估且候选适应度易于量化的情况下效果良好，例如矩阵乘法、GPU 核优化、算法竞赛、数据中心调度。它在评估缓慢、模糊或主要依赖启发式的领域中表现不佳。进化的计算效率和有效性也是值得关注的问题。
与模型权重的联合优化
Harness 演化改变的是模型周围的非参数系统。要实现完全的自我改进，可以允许模型同时更新自身的权重。权重更新可以通过改进模型训练流水线或测试时持续学习来实现。持续学习这一话题值得在未来单独撰文。
SIA（Hebbar et al. 2026）是将 harness 改进和模型参数更新纳入同一优化循环的早期尝试，设计中包含三个组件：
元 Agent：提议初始 harness。
任务特定 Agent：执行任务。
反馈 Agent：根据近期轨迹选择是更新 harness 还是更新模型权重。
SIA 中的反馈 Agent 决定下一次迭代的类型。（图片来源：Hebbar et al. 2026）
SIA 的实验中存在一些使结果难以解读的混淆选择。例如，任务特定 Agent 比元 Agent 和反馈 Agent 所用的模型弱得多（gpt-oss-120b vs Claude Sonnet 4.6），且基线过于薄弱，无法与相关方法进行清晰的交叉对比。我认为这个方向有趣，但证据尚不充分。训练稳定性和古德哈特效应等诸多挑战仍然悬而未决。
03
离真正的递归自我改进，
还差些什么？
AI Scientist 系列工作有力地证明了，专家设计的 harness 能够协调自动化科研循环的大部分工作，并以撰写研究论文的形式进行了实验。但论文生产并不等同于科学发现，一个系统可以写出看似合理的论文，同时仍然包含捏造的引用、实现漂移或薄弱的实验结果。
Trehan & Chopra（2026）测试了大语言模型能否以最小脚手架和基本工具（即 read_file、write_file、llm_search、list_files）从研究想法到论文全程独立完成。每个想法都有一个专用工作空间，Agent 可以在其中生成和读取文档作为上下文的一部分。他们在三个领域（世界模型、多智能体强化学习、AI 安全与对齐）进行了实验，每个领域包含 45-50 篇高质量种子文档以激发新想法。只有四个想法被人类专家选定经历完整流水线，且只有一个被完整执行成论文。他们在实验中观察到六种反复出现的失败模式：
偏向训练数据默认值：使用旧库、过时命令、标准格式，或与实际仓库或数据集不符的假设。
执行压力下的实现漂移：当实现变得技术复杂时，模型可能转向一个更常见的简单解决方案，而非原始提议的方法。
记忆和上下文退化：长期项目会丢失关键细节，除非日志被写入持久化产出物。
过度乐观：模型尽管面对嘈杂或失败的实验仍宣告成功，Bubeck et al.（2025）将类似现象称为"p-hacking 和 eureka-ing"模式——模型可能引入"数值胶带"，并在信号仍是噪声时宣告胜利。
领域智能不足：模型缺乏隐性专业知识，例如预测实现复杂性、判断实验结果是否合理，或了解哪些基线重要。
科学品味薄弱：实验可能可以执行，但未能回答正确的问题。
迈向完全 RSI，研究人员已取得实质进展，但仍有几个瓶颈尚待解决。
1. 评估器薄弱且模糊。 许多研究声明没有快速精确的验证器，许多现实世界任务亦然。当前的自我改进循环在评估指标可测量且客观时效果最好，类似于强化学习的工作方式。
研究品味、新颖性和长期科学价值则难以衡量得多。例如，研究品味往往混合了问题框架、实验设计，以及对哪些令人惊讶的结果值得追究、哪些失败案例值得重试的判断。
2. 上下文和记忆的生命周期。 随着 AI Agent 变得更加自主和独立，记忆也在增长。一个有用的 harness 需要管理上下文和记忆，以弥补长上下文生成中的现有局限，同时最大化长时域任务的成功率。由于人类能够在整个生命周期中维持记忆，我看到一个类比，上下文工程将会并且应该成为智能的核心组成部分，而不仅仅停留在软件系统层面。
3. 负面结果。 研究人员有激励去发表成功结果，因此文献偏向于成功案例。在大量数据（至少目前主要是人类创作的，哈哈）上训练的大语言模型，由于数据中成功与失败案例的不平衡，可能不擅长决定何时放弃假设、报告负面结果，甚至承认失败。研究 harness 应使失败尝试易于保存，因为从失败中学习是缩减任务搜索空间的最佳方式。
4. 多样性崩溃。 进化和强化学习循环倾向于利用已知的高奖励模式。我们需要防止种群坍缩成同一解的变体的机制。这对于开放式研究尤为关键，在当前评估器下，最佳路径最初可能看起来更差。
5. 奖励欺骗。 自我改进循环优化它所获得的任何信号。如果奖励来自单元测试，Agent 可能过拟合测试；如果来自裁判模型，它可能学到针对该裁判的奖励欺骗技巧；如果来自基准分数，它可能利用基准中的漏洞。
评估器和权限控制应可能位于演化 harness 的循环之外，配合 held-out 测试、轨迹审计以及在关键决策点上的人工审核，有多少监督可以被规模化和自动化，仍是一个开放的研究领域。
6. 长期成功。 一个外在的优化循环作用于我们可以在训练沙盒中模拟的个别推演之外的奖励。
以编程 Agent 为例。编程 Agent 已经提升了软件工程中的日常生产力，但许多优化目标仍过于短视。它通常能完成手头的任务，但如何保护一个由数百或数千名工程师共同维护的代码仓库的长期健康，则不那么明显。标准的基于沙盒的 RLVR 风格训练很少能捕捉到可维护性、所有权边界、迁移成本、向后兼容性或未来调试负担。
7. 人类的角色。 人类应该往上移动，而不是被从循环中移除。这意味着人类应该在正确的时间、以正确的抽象层次提供监督，我们的系统设计应考虑何时以及如何设置这样的触点。
上述许多挑战都需要人类的反馈和引导。毕竟，我们构建这项技术是为了人类更美好的未来，而不是相反。
对话 Coddie 何鋡威：95 后，华为、传音、拓竹历练，用特斯拉的思路做母婴产品
万字攻略｜AI 时代，华人创业者进入日本市场的窗口打开了
红杉、顺为、米哈游等数亿融资，前大疆员工做了款消费级纺织机，目前营收近亿
Loop 的工程讨论够多了，Loop 理念的产品应该长什么样？
Codex 负责人：「所有人都是 builder」是个很糟糕的主意
转载原创文章请添加微信：founderparker
