重新审视 Agent 技能的自我进化：Rethinking Self-Evolving Agent Skills

当前的自我进化 agent 技能系统（让模型把执行反馈转化为可复用、可持久化的"技能"更新，而不改动底层模型权重）在设计上分歧很大：有的系统只用成功轨迹做反馈，有的只用失败轨迹，有的两者都用，但这些选择从未在同一套受控条件下被系统比较过。作者指出，现有结果往往只报告"进化前 vs 进化后"的单点分数，掩盖了大量关键细节：有多少候选修订被拒绝、是否发生过回滚、额外的进化轮次是否真的有增量价值，以及类似的分数提升是否用更便宜的测试时计算（比如多采样几次）就能达到。这篇论文本质上是在问一个此前没人认真回答过的问题：技能自我进化的收益，到底是稳定可预期的学习过程，还是一种运气成分很大的稀疏搜索？

作者搭建了一个受控实验框架，覆盖 5 个 benchmark（SearchQA、OfficeQA、SpreadsheetBench、LiveMath、DocVQA）与 3 个主力模型（GPT-5.5、Gemini 3.1 Pro、DeepSeek V4-Pro），组成 14 个 model-benchmark 设置，共运行 42 次"匹配反馈实验"。在每个设置内，三种反馈条件——Normal（成功+失败）、Fail-only（仅失败）、Success-only（仅成功）——从同一个父技能出发，使用完全相同的执行器/优化器配置、修订流程与十轮预算。每一轮的流程是：在任务上执行当前技能 → 构建对应的反馈视图 → 提出候选修订（最多四处编辑）→ 验证。候选修订只有在验证分数不降低时才能被采纳；而"最佳检查点"的更新条件更严格——必须验证分数严格提升，且修订内容与前一版本"字节级不同"（byte-distinct），以此过滤掉因重复运行造成的分数噪声。进化结束后，被冻结选定的技能会在留出测试集、鲁棒性探针任务、迁移任务上分别评估。此外，作者还做了跨 8 个模型的 SearchQA 扩展对比，以及用"Parallel Sampling（并行采样）"和"Sequential Refinement（序列精修）"两种测试时算力扩展方法作为对照组，用来检验技能进化的收益能否被单纯的推理时多算所替代。

核心结果：全部 42 次反馈实验中，388 个候选修订里只有 55 个真正建立了字节级不同的验证最优版本——大部分提议要么没有提升验证分数，要么和前一版本重复。在 14 个 model-benchmark 设置中，有 11 个设置最终选出了优于父技能的进化版本，其中 9 个在留出测试集上也确认了提升。关键发现是反馈构成的作用：全部 11 个被选中的进化技能都来自包含失败轨迹的反馈条件（Normal 9 次、Fail-only 2 次），Success-only 反馈在主实验中从未被选中过一次。跨 8 模型的 SearchQA 扩展分析验证了同样的稀疏模式：210 个候选中有 191 个改动了技能内容，但只有 29 个达到字节级验证最优。轮次分布上，55 个最优候选里有 38 个出现在第 1-4 轮，但仍有 6 个最终选中的技能是在第 6-9 轮才首次出现，说明晚期发现虽然更少但依然存在。测试时算力对照实验最具冲击力：在 SearchQA 上，理论上限的 Parallel Sampling 与进化技能的收益差距仅 0.43 分，几乎打平；但在需要持久化多步操作流程的 SpreadsheetBench 上，进化技能领先 Parallel Sampling 高达 30.96 分，Sequential Refinement 在两个基准上都未能复现进化的增益。

这篇论文对 duplex agent / 全双工交互方向有一个值得深挖的间接启示：技能持久化的价值密度极不均匀，且高度依赖任务是否需要"程序性知识"而非"临场推理"。在 SearchQA 这类可以靠多次采样、择优汇总来逼近效果的任务上，持久化技能的边际价值有限——这类似于全双工场景里 Thinking Layer 的深度推理可以部分被更多的候选生成替代。但在 SpreadsheetBench 这种需要固定的多步操作序列（不能靠临时多想几遍来复现）的任务上，技能进化展现出测试时算力无法替代的优势——这恰恰对应 duplex agent 里 Interaction Layer 需要固化的"实时反应模式"：如果把 duplex agent 的短时响应策略也视为一种"技能"，那么本文的结论提示，只有当交互模式涉及真正的多步骤流程记忆（而非单轮反应质量）时，持久化学习才会显著优于单纯堆更多推理时算力。另一个值得警惕的信号是：55/388 的转化率、以及 Success-only 反馈从未被选中，说明"自我进化"框架下的失败案例挖掘可能比想象中更核心——如果未来把这套方法论用于 duplex agent 的 turn-taking 策略优化，反馈信号的设计（尤其是要不要显式引入打断/失配等"失败"交互片段）可能比进化轮数或模型能力更决定成败。总体而言，这是一篇难得的"泼冷水但方法论严谨"的论文，为"skill self-evolution 到底值不值得做"提供了少见的悲观校准视角，值得在设计任何 agent 持久化学习机制前先读一遍。