Agentic Data Synthesis
四篇论文精读

Agent 需要长程、多步、可验证的训练轨迹——这和普通 SFT/RLHF 数据有本质区别。

点击标签切换论文。每篇按「方法 → 评估设计 → 结果 vs 基线」组织。

arXiv 2606.24855 UC Berkeley / UT Austin / NYU 等 50+ 作者 · 2026.06

OpenThoughts-Agent: Data Recipes for Agentic Models

一句话：100+ 消融实验系统证明「任务来源多样性」是通用 agentic 模型的决定性变量；100K 样本 Qwen3-32B 在 7 个 benchmark 上平均 44.8%，超过所有此前开源方案。

六阶段 SFT Pipeline

① 7域任务采样

→

② Rollout生成

→

③ 质量过滤

→

④ 格式标准化

→

⑤ 合成增强

→

⑥ 混合采样

Figure 2：六阶段 SFT pipeline 示意图。最关键的是 Stage ①——任务来源多样性（7个不同 benchmark 域混合）在 100+ 消融中始终是影响最大的变量。

最重要的消融发现

• 任务来源多样性 >> 数据量：单一来源 500K 样本不如 7 域混合 100K 样本
• 合成增强优于上采样：超出底座数据量后，生成新轨迹比重复现有轨迹效果好（见 Figure 3）
• RL 稳定性依赖多样性：单一任务源 RL → reward collapse；多样来源 → 单调上升

合成增强 vs 上采样。超出 10K 底座后合成增强明显更优，差距随规模扩大。

100K 数据集来源分布（Sankey）。7 个不同领域的来源权重可视化。

单一任务源 RL → Reward Collapse。pymethods2test 任务：reward 先升后塌，模型找到了 hacking 路径。

多样来源 RL → 单调上升。任务多样性同样是 RL 训练稳定性的关键。

评估设计

Benchmark	任务类型
SWE-Bench Verified	代码 Bug 修复
Terminal-Bench 2.0	Shell 操作
τ-bench	工具调用（单域）
τ²-bench	跨域工具调用
ACEBench-Agent	Function Calling
+ 2 其他 Bench	规划 / 推理

7 个 benchmark 覆盖主要 agentic 能力维度，防止单点优化

结果 vs 基线（32B 规模）

模型	7-Bench 均值
OT-Agent-32B ours	44.8%
Nemotron-Terminal-32B	40.9%
SWE-Smith-32B	<40%
Qwen3-32B (base)	—

Scaling 曲线 (8B)

在相同数据量下 OT-Agent 数据的 scaling 斜率始终更陡

arXiv 2606.25996 Meta FAIR · Jason Weston 组 · 2026.06

Autodata: An Agentic Data Scientist to Create High Quality Synthetic Data

一句话：不只是"用 LLM 生成数据"——而是训练一个 Data Scientist Agent，然后对这个 Agent 本身做元优化（Meta-Optimization），使推理算力可以直接转化为训练数据质量。

三层架构

Challenger Agent

→

弱模型 vs 强模型筛选

→

数据打包

→

训小模型评估

→

元优化 Data Scientist

Figure 1：整体框架。三层：Agentic Self-Instruct（生成数据）→ Agent-as-Data-Scientist（将生成本身视为 Agent 任务）→ Meta-Optimization（优化 Data Scientist Agent 自身）。

Weak-vs-Strong 数据选择机制

Figure 2：主 LLM 指挥四个 Subagent。只保留「弱模型失败、强模型成功」的样本——这些处于最优学习区间，强弱均失败或均成功的样本被丢弃。

元优化：训练 Data Scientist 本身

Figure 6：进化优化框架迭代改进 Data Scientist 策略。验证通过率：62.1% → 79.6%（126次迭代）。Reward = 用生成数据训出的小模型的验证集提升幅度。

🔬 深度：元优化的评估循环如何运作？ ▶

元优化的关键挑战是"如何快速评估数据质量"——训一个大模型太慢，所以：

• 代理评估：生成一批数据 → 训一个小模型 → 在验证集上测提升幅度 → 作为 reward
• 进化优化：对 Data Scientist 的 prompt/策略做变异，保留提升更大的变体
• 结果：126 次迭代后，验证通过率从 62.1% 升至 79.6%，相当于数据质量的系统性提升

这个循环的前提是"代理评估准确"——小模型代理全量评估的精度是未来的核心瓶颈。

评估设计

领域	具体任务
CS 研究	计算机科学研究问题问答
法律推理	法律条文分析 / 案例推理
数学推理	数学对象操作

跨领域验证通用性；有别于 agent benchmark，更偏推理质量

关键数字

指标	数值
元优化后验证通过率	79.6%
元优化前基线	62.1%
元优化迭代次数	126
vs 经典合成数据方法	全面超越

核心洞见

Inference Compute → 训练数据质量 → 下游模型性能。这是 inference scaling 的另一种高价值利用方式。

⚠️ Meta FAIR 内部成果，暂未开源模型/数据；代码框架部分公开

arXiv 2602.09372 2026 年 2 月（较早期工作）

AgentSkiller: Scaling Generalist Agent Intelligence through Semantically Integrated Cross-Domain Data Synthesis

一句话：用 14 步流水线（DAG 架构 + 跨域语义融合）合成跨多领域、高保真、长程多工具调用的 agent 训练数据，解决"真实复杂任务无法直接获取"的核心障碍。

14 步流水线（三阶段）

域本体定义

→

实体图构建

→

Service Blueprint (MCP)

→

数据库合成

→

DAG 任务生成

→

跨域融合

→

执行验证

Figure 2：端到端合成流水线。三阶段：本体定义（1-5步）→ 可执行实现（6-8步）→ 任务实例化（9-17步）。每步有明确 I/O，支持模块化替换。

跨域语义融合：最核心差异化

Figure 3：左：通过共享实体（Entity Fusion）将两域服务的轨迹连接。右：Policy Harmonization 解决跨域规则冲突（同一实体在不同域有不同约束时协调）。

🔬 深度：DAG 架构为什么是关键？ ▶

AgentSkiller 用 DAG 表示工具调用依赖的两个核心价值：

• 确定性（Determinism）：给定任务，执行路径唯一确定——这是 execution-based validation 的前提。随机生成的路径无法精确验证。
• 可恢复性（Recoverability）：任何步骤失败都能精确定位并重试，大规模合成时的容错性大幅提升。

没有 DAG 的约束，"执行验证"只能做最终状态检查；有了 DAG，可以做逐步状态转移验证，数据质量显著更高。

评估设计

Benchmark	特点
τ²-bench	跨域工具调用（核心）
τ-bench	单域工具调用
ACEBench-Agent	Function Calling

τ²-bench（跨域）是最核心的评估——专门测试跨域泛化能力

结果 vs 基线 (14B)

τ²-bench（跨域）提升最显著，验证了跨域融合数据的核心价值

长程能力（工具调用次数）

随工具调用次数增加，AgentSkiller-14B 性能衰减比基线慢——长程推理能力真实提升

四篇论文评估的 benchmark 不完全重叠——这里整合所有可见的对比数据。

OT-Agent 主结果图：在 Terminal-Bench 2.0 和 SWE-Bench Verified 上同时领先所有开源 ≤32B 模型。注意这是"同时领先两个 benchmark"——单一数据方案通常在一个上强、另一个上弱。

模型	数据来源	7-Bench 均值	相对提升
OT-Agent-32B	7域混合 100K	44.8%	+3.9pp
Nemotron-Terminal-32B	Terminal 单域	40.9%	baseline
SWE-Smith-32B	Code 单域	<40%	—

四篇论文从不同角度切入，汇聚成以下清晰规律。

1. 验证是第一位的基础设施

   所有四篇都把"如何可靠验证 agent 轨迹"放在最高优先级。没有可靠验证信号，RL reward 是噪声，过滤是无效的。Agentic 数据区别于普通 NLP 数据的最核心特征：可执行验证。

2. 任务多样性 >> 数据量（OT-Agent 用 100+ 消融明确证明）

   单一来源 500K 不如多域 100K。这在 agentic setting 里比 SFT 时代更极端——任务结构差异更大，跨类型泛化能力更难习得。多样性同时影响 SFT 泛化和 RL 训练稳定性。

3. 结构化约束是避免数据退化的通用解

   TMax 的三元组分类法、AgentSkiller 的 DAG、Autodata 的弱-强对抗——都在用"结构"约束随机生成。纯随机生成的 agentic 任务要么太简单（无梯度），要么太难（无正确轨迹）。

4. SFT → RL 是标准流程，但 SFT 的必要量值得质疑

   四篇默认先 SFT 建行为基础，再 RL 提上限。但结合「SFT 分数和 RL 性能相关性低（R²=0.43）」的发现：极少 SFT + 大量高质量 RL 数据是否比 100K SFT 更高效？ 需要直接对比实验。

5. 元学习是下一个前沿（Autodata 走得最远）

   不只是生成数据，而是训练"会生成高质量数据的 Agent"。验证通过率 62.1%→79.6% 是强信号。未来可能不需要人工设计 pipeline，Agent 自己学会什么数据最有价值。

6. 推理 Compute → 训练数据质量的转化通道已打通

   Autodata 明确验证：给 Data Scientist Agent 更多推理算力 → 更高质量轨迹 → 下游模型更强。这是 Inference Scaling 的另一种高价值利用：不是直接提 benchmark，而是把 inference compute 转化为 training compute 的效率提升。