0
0
0

12 秒到 0.48 秒:AI 亲手写推理引擎跑赢 SGLang,六场闭卷考还“五胜一平”人类

你让 AI 修个登录报错,改完代码重新测试,终端又弹出同一行红字——修一个 bug 要来回折腾几轮,每轮提交后你盯着空白对话框等它开口。这个等待有多长?P90 首 token 延迟 12.029 秒,这是成熟推理引擎 SGLang(v0.5.20)在真实编程会话回放里的成绩。而 Claude 写的引擎,同样的 4 张 GB300、同一个模型:0.478 秒。

11 月 12 日,卡内基梅隆大学、NVIDIA 等机构的研究者提交预印本《Singularity-Bench: Can Agents Build Agents?》(arXiv 2611.16591):把造 AI 的核心苦活拆成六场断网闭卷考,7 个主流模型搭配 Claude Code、Codex 两套框架组成 11 支 AI 队伍,在完全相同的硬件上单挑人类打磨多年的成熟方案。这篇把六场考试和最炸的推理引擎题拆开讲。

一、考试怎么考:断网、倒计时、起始代码

六道题分两组,直指 AI 研发的全流程:

阶段考题条件
训练从头预训练4×GB300 / 12 小时
中期训练(挑下一批“教材”)4×GB300 / 12 小时
后训练(RL 提升编程)4×GB300 / 12 小时
基建推理引擎4×GB300 / 12 小时
智能体运行框架1×GB300 / 6 小时
显卡集群调度16×GB300 / 4 小时

规则很硬核:全程断网、给起始代码、按倒计时交卷,做完不看代码看跑分——研究者直接用真实场景验收,而不是看 AI 自吹的 demo。

二、推理引擎题:11.5 秒到底怎么省下来的

这道题里,Claude Opus 5.5 + Claude Code 拿到一份基础服务器代码、4 张 GB300 和 12 小时,禁网,要写出“接收用户请求 → 调度显卡跑模型 → 发回回复”的完整引擎。验收方式:回放同一批 16 路并发的真实编程会话(单次输入中位数 8.9 万 token)。

指标Claude 写的引擎SGLang v0.5.20
P90 首 token 延迟0.478 秒12.029 秒
生成速度(中位数)124.2 tok/s125.0 tok/s
前缀缓存命中率≈96%≈96%
同时间窗完成请求数983705
模拟收入 / GPU 小时$11.52(+40.8%)$8.18

最值得学的是它怎么赢的——四个都很朴素的工程决策:

  1. 前缀缓存存全两份计算记录。这个模型的上下文会留两份计算状态(一份信息一份“账本余额”),Claude 的引擎把两份一起存,下次相同开头直接从末尾接着算。SGLang 也有缓存、命中率一样,差距不在这里。
  2. 短作业优先调度。16 路并发里,有人贴了 8.9 万全新 token 的“整车年货”,有人在老会话里只追问一句“按钮往右挪一点”(96% 有现存缓存)。死守先来后到,等于让买矿泉水的人替年货罚站——Claude 的排队规则是谁剩下的计算量少,谁先上,超大请求切块分批,绝不堵死车道。
  3. 投机解码:轻量预测层先猜 token、主模型核验,猜对直接采用。
  4. GPU 操作打包合并,减少零散调度和数据搬运。

结果是:每张 GPU 每秒多处理 19% 的未缓存 token。生成开始后两套引擎速度几乎一样——省下的 11.5 秒全在“开口之前”。

更扎心的是交卷门槛:并发下必须完整生成规定长度 + 隐藏测试准确率验收。11 套 AI 自研引擎里只有 5 套同时过线,另外 6 套要么吞字断句、要么准确率崩盘,当场零分。跑得快但胡说,叫高速翻车。

三、总榜:五胜一平,唯一超过人类基线

  • 预训练:Claude 先花 44 分钟测显卡性能再定模型规模,用约一半算力拿到 12.77 困惑度,优于人类基线(OLMo 2 1B + Megatron-LM)的 14.22;
  • 中期训练:数据配方把下游平均准确率从人类 PRISM 的 17.5% 提到 31.9%,接近翻倍;
  • 运行框架:最戏剧性的一道——对照组就是原版 Claude Code,Claude 给自己做了场手术,把分数从 0.438 提到 0.468,同批测试多修好一个 bug;
  • 集群调度:16 张卡伺候 28 个模型服务,它发现部分引擎共用显卡会互抢资源,改成轮流用 GPU,0.510 分胜 NVIDIA Dynamo + KAI Scheduler 的 0.460;
  • 后训练:53.3% vs 人类方案 Miles 的 53.9%,各有 18 道独家解出的题,判平。

六题等权、以人类基线 = 1 分换算:Opus 5.5 + Claude Code 拿 1.252 分,五胜一平,是唯一超过人类的组合;GPT-6.1 Sol + Codex 0.969 分第二;其余 10 组平均只有 0.58。

总榜还藏着一个对从业者更实用的结论:模型大脑决定上限,运行框架决定发挥几成。同一款开源模型,配 Codex 得 0.228、换 Claude Code 涨到 0.657(近 3 倍);另一款模型却正好反向(0.698 → 0.520)。框架和模型的搭配,比“模型强不强”更玄学。成本也一并公布了:光开发阶段 API,Opus 5.5 花了 $425.41(第二名 Sol 的 5 倍)。

四、泼冷水:离“AI 自己迭代 AI”还有多远

论文作者自己框得很清楚:这六道题本质是人类划范围、AI 分别作答——起始代码、优化指标、时限算力全是人定的,后训练优化的还是给定模型。真正检验递归自我改进(RSI),需要 AI 自己找出研发流程中最拖后腿的环节、自己决定从哪下手、把改进放回全流程验证,还要让下一代模型接过上一代的工作继续迭代。“造好一个零件”和“自己改进整条生产线”,完全是两回事。

五、对工程师的三个启发

  1. 短作业优先 + 缓存感知调度,是可以直接偷的:你的服务里同样存在“矿泉水 vs 年货”场景,FIFO 在缓存命中的并发服务里就是隐形税。
  2. 框架匹配度要当独立变量对待:选型时别只拉模型榜单,同一模型在不同 Agent 框架下分数差 3 倍,框架是性能放大器也是衰减器。
  3. 用“及格率”而非“冠军成绩”评估 AI 工程能力:11 进 5 的过关率比 0.48 秒更能说明当前水位——峰值能力已经摸到工程级,稳定性还没到。

资料来源:Singularity-Bench: Can Agents Build Agents?(CMU/NVIDIA 等,arXiv:2611.16591,2026-11-12)、infini-ai-lab.github.io/singularity-bench、新智元报道(2026-11-20)。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!

评论