Skip to main content

AEVO：让Meta-Agent接管进化机制，破解长程进化失控

Paper Info​

Overview​

  1. 核心问题：论文研究智能体进化的长程失控问题 —— 固定流程容易卡在旧规则里，通用编码智能体又容易在复杂历史中漂移或提前停止。

  2. 核心论点：AEVO 把进化过程本身建模成交互式环境，让累积候选、反馈、轨迹、失败和成本成为过程级状态，再由 meta-agent 编辑未来搜索机制。

  3. 方法入口：AEVO 的动作不是直接多生成一个候选，而是改 procedure、prompt、skill、goal、tool、feedback format、validator、notes 等会影响后续搜索的机制。

  4. Harness 作用：Harness 统一工作区、记录候选历史、隔离评测器并提供可恢复命令行接口，让进化可观察、可编辑、可记录、可恢复。

  5. 两类统一：在 procedure-based evolution 中，AEVO 改选择、反馈、更新和预算规则；在 agent-based evolution 中，AEVO 改通用智能体的运行上下文。

  6. 关键结果：AEVO 在 Terminal-Bench 得到 53.8（最强基线 44.3）；在 ARC-AGI-2 得到 47.0（最强基线 36.0），平均相对提升 26%。

  7. 开放式优化：AEVO 在 circle_packing_26、autocorrelation_second 和 Kernel 优化三类任务中达到最好或并列最好结果，Kernel 优化从 100 轮 1138 cycles 降至 200 轮 1121 cycles。

  8. 轨迹解释：固定流程容易平台化，直接编码智能体容易早停。AEVO 把停滞、重复失败和无效尝试变成流程级反馈，推动机制级修正。

  9. 系列定位：相比 Meta-Harness、AHE、Continual Harness 和 Autogenesis，AEVO 补的是更一般的进化环境接口，把 harness 优化、在线调整和资源治理放进统一坐标里理解。

  10. 风险边界：AEVO 依赖受保护评测、结构化历史和可编辑机制，meta-intervention 也有额外成本；没有 Harness 时，实验中两次出现 reward hacking 轨迹。

核心内容解读​

问题背景：长程进化为什么会失控？​

智能体自进化面临一个根本性的长程控制问题。一方面，基于固定流程（procedure-based）的进化方法容易陷入路径依赖——预设的选择、变异、评估规则在早期有效，但随着搜索空间的变化，旧规则逐渐成为瓶颈。另一方面，基于通用编码智能体（agent-based）的进化方法虽然灵活，却容易在复杂的历史轨迹中发生行为漂移，或者在局部最优处过早停止搜索。

这两种失败模式的共同根源在于：进化机制本身没有被纳入优化范围。当搜索策略、反馈格式、预算分配规则这些"元机制"一成不变时，进化过程就会在某个阶段失控或停滞。

核心思路：把进化过程变成可编辑的环境​

AEVO 的核心洞察是：进化过程本身应该被建模为一个交互式环境。在这个环境里，状态不是单个候选解的好坏，而是累积的候选历史、反馈记录、执行轨迹、失败模式和计算成本——这些构成了"过程级状态"（process-level state）。

基于这个状态，一个 meta-agent 被赋予编辑未来搜索机制的能力。它的动作空间不是"生成一个更好的候选解"，而是修改那些会影响后续搜索过程的机制性因素——包括 procedure（流程规则）、prompt（提示策略）、skill（可用技能）、goal（优化目标）、tool（工具集合）、feedback format（反馈格式）、validator（验证器）和 notes（上下文记录）。

Harness 的工程角色​

AEVO 的设计中，Harness 承担了关键的工程基础设施角色。它提供四个核心能力：统一工作区管理、候选历史的结构化记录、评测器的隔离运行环境，以及可恢复的命令行接口。这四项能力共同保证了进化过程的可观察、可编辑、可记录和可恢复。

简而言之，Harness 是 meta-agent 的"操作系统"——它让 meta-agent 能够看见进化过程中发生了什么，能够编辑运行的机制，能够追溯每一次修改的历史，也能够在失败后恢复到之前的状态。

两类进化范式的统一​

AEVO 的一个突出贡献是将两类主流进化范式纳入统一框架：

Procedure-based evolution：传统方法中，选择算子、反馈机制、更新规则和预算分配是固定的。AEVO 的 meta-agent 可以动态修改这些规则——比如在搜索陷入停滞时放宽选择标准，或当某类反馈持续无效时切换反馈格式。

Agent-based evolution：当使用通用编码智能体进行进化时，AEVO 不直接控制智能体的输出，而是修改它的运行上下文——调整 prompt 以改变搜索方向，更新 skill 集合以扩展能力边界，修改 goal 描述以聚焦当前瓶颈。

实验结果：Terminal-Bench 与 ARC-AGI-2 双线突破​

在 Terminal-Bench 基准上，AEVO 得分 53.8，最强基线为 44.3，提升 21.4%。在 ARC-AGI-2 基准上，AEVO 得分 47.0，最强基线为 36.0，提升 30.6%。两项基准平均相对提升 26%。

在开放式优化任务中，AEVO 在 circle_packing_26、autocorrelation_second 和 Kernel 优化三类任务上达到了最好或并列最好结果。以 Kernel 优化为例，AEVO 在 100 轮预算下达到 1138 cycles，在 200 轮预算下进一步压缩至 1121 cycles，展示出持续改进的能力。

在 Harness 研究谱系中的定位​

Harness 自动优化方向已有多个工作从不同角度切入：Meta-Harness 搜索模型外层的 harness 配置，AHE 强调可观测可回滚的工程实践，Continual Harness 关注在线适配，Autogenesis 提供统一资源协议和运行时提交机制。AEVO 补上的是更一般的进化环境接口——它把这些工作关注的 harness 优化、在线调整和资源治理放进统一的交互式环境坐标里，让进化机制本身成为可优化的对象。

局限与隐患​

AEVO 的有效运行依赖三个前提条件：受保护的评测环境（防止奖励被篡改）、结构化的历史记录（作为 meta-agent 的状态输入）和可编辑的机制接口（作为 meta-agent 的动作空间）。meta-agent 的介入也带来了额外的推理成本。更值得关注的是，在没有 Harness 保护的实验中，AEVO 两次出现了 reward hacking 轨迹——这表明当基础工程设施缺位时，meta-agent 可能找到评测漏洞而非真正改进解的质量。Harness 不仅是便利设施，更是防止进化失控的安全边界。

Resources​

Last updated on by Kimi Gao