Skip to main content

HGM：把自修改搜索的目标改成后代潜力，让Coding Agent不被当前分数带偏

Paper Info​

  • Title: Huxley–Gödel Machine: Human-Level Coding Agent Development by an Approximation of the Optimal Self-Improving Machine
  • Authors: 阿卜杜拉国王科技大学（KAUST）— Wenyi Wang, Piotr Piękos, Li Nanbo, Firas Laakom, Yimeng Chen, Mateusz Ostaszewski, Mingchen Zhuge, Jürgen Schmidhuber
  • arXiv: https://arxiv.org/abs/2510.21614
  • 视频讲解: [Harness自进化] ICLR26 | Bilibili

Overview​

  1. 论文身份：LSTM 之父 Jürgen Schmidhuber 团队在 ICLR 2026 上的工作，全称 Huxley–Gödel Machine（HGM），把 Gödel Machine 长期效用最优化的理论骨架落到 coding agent 自修改搜索上。

  2. 核心问题：DGM、SICA 这类自修改方法按当前 SWE-bench 分数挑分支，假设当前高分等于后续还能继续变强。但论文观察到两者经常错位——高分节点很快停滞，普通节点反而孕育更强后代，这种错位被命名为 Metaproductivity–Performance Mismatch。

  3. 理论连接：原始 Gödel Machine 通过证明自修改能提高长期效用才接受修改。论文证明在最终 agent 才有奖励、评测可重复、预算有限且已知等假设下，coding agent 自修改问题的 CMP 真值足以模拟 Gödel Machine 的接受机制。

  4. CMP 定义：Clade-Metaproductivity 把一个节点及其全部后代组成的 clade 看做一条 lineage，按评测次数加权聚合 clade 内的成功/失败记录；GMP 则描述整棵树的全局长期潜力，几乎不可直接估计。

  5. 搜索算法：HGM 汇总 clade 内评测形成 CMP 估计，为节点建立 Beta 后验，用 Thompson Sampling 抽取潜力样本，样本高的节点优先扩展，证据少的分支仍有机会被探索，预算随剩余数调整探索与利用。

  6. 调度设计：HGM 把生成 child 与测试已有 agent 解耦成两种动作，评估细到单个 agent–task 对；连续失败的 child 可以早停，多个 CPU 上能异步并行扩展和评估，不必等最慢任务。

  7. 相关性证据：在 SWE-Verified-60 和 Polyglot 上，HGM 的 CMP 估计与经验 CMP 的加权 Pearson 相关系数分别达到 0.778 和 0.626，明显高于 DGM、SICA 主要对应结果里的最好值 0.444。

  8. 搜索效率：在 800 次任务评测上限下，HGM 在 SWE-Verified-60 找到 56.7% 的 agent，只用 517 个 CPU 小时（DGM 53.3% 用 1231 小时）；Polyglot 上 HGM 30.5% 用 347 小时，同样高于 DGM 与 SICA。

  9. 跨基准迁移：8000 次评测后在全量 SWE-bench Verified 上找到 61.4% 的 GPT-5-mini coding agent，迁移到 SWE-bench Lite 去掉重叠任务得 40.1%，换 GPT-5 升到 47.8%，数据集和模型都变化后提升仍保留。

  10. "人类水平"的边界：比较的是 coding agent design，即 HGM 搜索出的 harness 与官方核验的最佳人类设计相当，而非人或 agent 在同一套编程题上 PK；不能外推为通用软件工程能力或 AGI 证明。

  11. 系列定位与边界：AEVO、AHE、Continual Harness、Autogenesis 分别覆盖进化环境、可观测 harness、在线改写和资源协议，HGM 补的是 lineage 选择与预算调度；理论等价依赖强假设，benchmark 也可能过拟合。

核心内容解读​

为什么当前分数会误导自修改搜索​

Coding agent 每修改一次自身代码就生成一个新版本，多个版本构成一棵自修改树。近期工作（Darwin Gödel Machine、SICA 等）默认沿用进化搜索的直觉：当前 SWE-bench 分数高的节点，下一代大概率还能更强，于是把扩展预算集中在当前赢家身上。

但这条假设在 coding agent 自修改场景里并不总成立。一个节点在某个 benchmark 上拿高分，很可能是因为它刚好适配了这批任务；而它后续能不能继续生出更好的版本，取决于修改空间是否还留有结构性余地。论文把这种"当前分高但后代乏力"或"当前分一般但后代越来越强"的错位正式命名为 Metaproductivity–Performance Mismatch（MPM）。

错位的根源在于评价对象错配：当前分数回答的是"这个 agent 现在能做对多少题"，而自修改搜索真正想问的是"从它继续往下改，最后能不能找到更强的 agent"。前者是 node-level 信号，后者是 clade-level 信号，只看前者就会过早集中到局部赢家。

CMP：从单点分数到 clade 潜力​

论文首先给出 Global Metaproductivity（GMP）——一次扩展对整棵树最终结果的影响，作为理想目标。但 GMP 等扩展完成才能回填，搜索过程中拿不到，所以 HGM 转而使用一个可计算的代理量。

代理量叫 Clade-Metaproductivity（CMP），灵感来自 Huxley 提出的 clade 概念：把一个节点和它的全部后代看做一条 lineage，按这条 lineage 继续演化最终能跑到的表现，就是 CMP。具体计算是把 clade 内每个 agent 的成功/失败评测按评测次数加权聚合——评测越多权重越大，而高分后代通常会被测更多次，因此聚合结果自然偏向表现好的后代，但不会像直接取最大值那样过度依赖单一样本。祖先也能从后代的成绩中受益，避免一次意外高分就锁死整条分支。

这套加权聚合让 CMP 同时捕捉三件事：后代质量、后代覆盖广度、以及"被反复验证的可信度"。

与 Gödel Machine 的理论连接​

原始 Gödel Machine 接受自修改的判据是：必须能形式证明这次修改比保持原状有更高的预期长期效用。证明本身在真实代码里几乎不可能做出来，但论文在更受限的 coding agent 搜索场景里重新审视这条定理。

论文证明：在最终 agent 才有奖励（不奖中间过程）、评测可重复、预算有限且已知等假设下，coding agent 自修改问题可以被刻画成一个 MDP，而真实 CMP 对应的 oracle 在这一 MDP 上足以模拟 Gödel Machine 的接受机制——只要能拿到准确的 CMP，就能比较"接受 child"和"保留 parent"哪个长期收益更高。

这条定理的实用意义不是"我们能跑 Gödel Machine"，而是给 HGM 的 CMP 估计提供了一个理论锚点：当 CMP 估计足够准时，搜索在极限意义上趋近 Gödel Machine 的长期最优。

Beta 后验与 Thompson Sampling​

CMP 真值要等后代全部跑完才知道，搜索时只能边搜边估。HGM 用 clade 内累积的成功/失败记录为每个节点建立 Beta 分布作为 CMP 的后验，再用 Thompson Sampling 从后验里抽取一个潜力样本，样本高的节点优先扩展。

Thompson Sampling 的好处是天然兼顾探索与利用：证据少的分支后验方差大，仍有机会被采到样本高值，从而获得一次扩展机会；随着数据积累，后验收窄，预算会更多流向表现稳定的 lineage。论文还提到，预算分配策略可以根据剩余预算调整——预算充裕时偏探索，预算吃紧时偏利用。

调度：把"生成"与"测试"拆开​

HGM 的动作空间里既有"生成新 child"也有"测试已有 agent"，由调度策略在两者之间切换。这条设计带来三个直接收益：

第一，评估粒度细到单个 agent–task 对，而不是把整个 agent 一次性在所有任务上跑完，单条评测就能反馈；第二，连续失败的 child 可以早停——既然这条 lineage 短期内看不到进步，预算就不必继续耗在这里；第三，扩展和评估异步执行，多个 CPU 各自推进不同任务，不必等最慢的那个，整体 CPU 利用率更高。

论文强调提升不仅来自采样公式，调度方式本身也贡献了相当比例的 CPU 小时节省。

相关性证据：CMP 比当前分数更接近后代潜力​

怎么验证 CMP 真的比当前分数更接近"这条 lineage 后续能长成什么样"？作者把搜索结束后每个 clade 中最佳后代的真实表现当作经验 CMP，再算各估计器的加权 Pearson 相关系数。

在 SWE-Verified-60 上 HGM 的相关系数达到 0.778，在 Polyglot 上达到 0.626；作为对比，DGM 与 SICA 的主要对应结果里最好也只有 0.444。也就是说 CMP 的排序更接近后来真正长出来的强分支——这正是 MPM 想纠正的错位。

受控实验：分数与 CPU 同时占优​

在 800 次任务评测上限的受控实验里，HGM 在 SWE-Verified-60 找到 56.7% 的 agent，只用 517 个 CPU 小时；DGM 在同样任务上 53.3% 用 1231 小时。HGM 在 Polyglot 上 30.5% 用 347 小时，同样高于 DGM 与 SICA 的受控结果。

为什么能同时提高分数和节省时间？两条理由：分支选择更准，少把预算耗在已经停滞的 lineage 上；调度把扩展、评估和最终选择拆开，可以早停低价值测试，也能异步利用 CPU。

跨基准与跨模型迁移​

更大规模的搜索和迁移实验：8000 次评测后，HGM 在全量 SWE-bench Verified（500 题）上找到一个 GPT-5-mini coding agent，得分 61.4%。把这个 agent 迁移到 SWE-bench Lite 并去掉重叠题目后，得分 40.1%；换用 GPT-5 重新跑，得分升到 47.8%。数据集从 Verified 换成 Lite、模型从 GPT-5-mini 换成 GPT-5，提升仍保留，说明 HGM 搜索出的不是 benchmark 特定的过拟合，而是可迁移的 harness 设计。

论文接着讨论"达到人类水平"这句话的边界。这里的比较对象是 coding agent design——HGM 搜索出的 agent 与 SWE-bench Lite 官方核验的最佳人类设计相当——而不是人和 agent 在同一套编程题上 PK。结论只能成立在"自动搜索 agent 设计"这个有限维度上，不能外推为通用软件工程能力或 AGI 的证明。

局限：理论假设与工程条件并重​

HGM 的理论等价建立在四条强假设上：最终 agent 才有奖励、评测可重复、预算有限且已知、agent 行为可建模为 MDP。真实环境中任务分布会漂移、评测也有噪声，假设一旦松动，定理就不再硬成立。

工程层面的不稳定性更现实：早期后代样本少时 CMP 估计方差大，可能把预算错配到噪声高的分支；异步执行带来评测数量不均，需要额外的调度修正；底层信号仍然是 benchmark 分数，搜索更聪明并不会自动消除过拟合、安全问题和目标漂移。

在 Harness 自进化系列里的位置​

回顾之前几期讲过的自进化工作：AEVO 把进化过程建模成交互式环境、由 meta-agent 编辑搜索机制；AHE / Continual Harness 关注 harness 的可观测性与在线改写；Autogenesis 用协议层把 prompt、tool、memory 统一成可版本化资源。HGM 接着追问的是"候选版本已经长成一棵树以后，预算该压哪条分支，又该在什么时候停止生成转去评估"——补上的是 lineage 选择与预算调度这一块。前几期在研究怎么让 harness 自己改，这篇在解决改完之后该把资源给哪一条改下去的方向。

Resources​

Last updated on by Kimi Gao