2
0
0

谷歌把 Harness 拆成 4 个模块让 Agent 自己改:SWE-bench 成功率 5%→40%,还只要 1/10 的 Token

11 月 17 日,谷歌研究人员挂出一篇论文:《Harnesses That Improve Themselves: A Unifying Framework for Self-Improving Agent Harnesses》(arXiv 2611.22299)。标题平淡,结论相当暴力——让 Agent 自己改自己的运行框架,SWE-bench Lite 成功率从 5.0% 干到 40.0%,8 倍,而且平均每任务只花约 4.67 万 Token。

这是个信号:上个月 DeepSeek Super-agent 那篇还在说 "提示词太不稳,要把协调写进架构",这个月谷歌的论文直接给了下一步——架构不仅能写进去,还能让模型自己改,只要给对约束。这两篇连起来,"Harness 工程" 基本可以确认是当下 Agent 研究的主战场。

一、Harness 是什么:模型外面那圈"说明书 + 扳手"

先对齐术语。模型本身只会补全 Token,让它能干活的外围都叫 Harness:系统提示词、工具定义、上下文管理、重试与验证逻辑、循环控制——论文里的设定是把这些代码拆成 142 行、四个可编辑模块,由 Gemini 3.8 Flash 驱动。

传统做法优化模型(微调、换大模型)或优化 Prompt(调措辞)。这篇论文的路径是第三条:优化中间那层代码,并且由 Agent 自己来改,改完在真实任务上验证,验过的保留、验不过的回滚——本质是把 "评测 - 修改 - 验证" 闭环自动化了。

二、核心对比:模块化改 vs 整体重写

论文设计了一个很有说服力的对照——同样的优化目标,两种改法:

方案SWE-bench Lite 成功率单任务平均 Token
基线(不优化)5.0%—
模块化修改40.0%(8 倍)≈4.67 万
整体重写42.5%≈45.16 万

三个点值得盯:

  1. 成功率只差 2.5 个点,Token 差了近 10 倍。整体重写"看起来更彻底",但每次推倒重来都要在长上下文里重新理解全部代码;模块化只动一处、验证一处,边际成本极低。
  2. 40% 这个绝对值不高——这是故意的。基线 5% 说明 Harness 初始状态很差,论文要证明的是"优化过程"有效,不是刷一个好看的终值。
  3. 迁移性初步验证:在该 Harness 上优化出的方案,迁到 Gemini 4 Argon 上仍拿到 37.5% 成功率——优化成果没有完全绑定在单一模型上,这是"改代码"优于"调 Prompt"的又一证据(Prompt 的效果往往换个模型就归零)。

三、为什么"代码级约束"赢了"提示词调整"

论文的结论句值得原文记住:代码级约束优于提示词调整。原因和 DeepSeek Super-agent 的实验撞在了一起——还记得那个数据吗:中性提示下模型 5 次运行一次都不委派 Subagent,换成 "优先委派" 的提示词,4/5 次委派、还有 1 次自作主张,p95 延迟差了近一倍。提示词是 "请求",代码是 "边界":前者靠模型自觉,后者不通过就物理上执行不了。谷歌这篇等于从另一个方向给出了同一条工程定律。

四、论文自己泼的冷水

  • 过度优化风险:优化循环在 SWE-bench Lite 上跑,存在对着单一基准过拟合的可能——40% 里有多少是"真能力"、多少是"懂考题",需要换基准复验;
  • 适用性待验证:目前只在一个模型族(Gemini 系)上做了迁移实验,跨厂商模型的表现论文自己列为 future work;
  • 研究原型 vs 生产系统:142 行的玩具 Harness 和真实工程环境的复杂度差着量级,闭环里的"验证"在真实仓库里怎么定义(测试全过?CI 绿?review 通过?)才是真正的难点。

五、对写 Agent 的人,三个能直接抄的思路

  1. 先拆模块,再谈自优化:你现在的 Agent 代码如果是一坨 1000 行的 main(),什么优化循环都跑不起来。把"提示词 / 工具集 / 上下文策略 / 验证逻辑"划成独立可替换的单元,这是前提。
  2. 把"改 + 验"做成最小闭环:一次只改一个模块,跑固定任务集验证,赢了才合入——这就是它 Token 省 10 倍的原因,也是任何渐进式优化的通用打法。
  3. 给优化上护栏:验证集和日常任务分开、定期换基准抽检,防止 Harness 变成"应试机器"。论文把过度优化列为风险,工程上要当成默认会发生的事来防。

资料来源:Deep Shah, Nehal Kathrotia 等《Harnesses That Improve Themselves》(Google, arXiv:2611.22299, 2026-11-17)、DoNews/ 科创板日报 / 凤凰网科技报道(2026-11-20)、DeepSeek《Super-agent 设计探索》(2026-10-31,笔者 11-04 曾拆解)。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!

评论