XPerf: Benchmarking LLM Serving Systems for Agentic AI Workloads

💬 Agentic 应用的输出是非确定性的——同一个 prompt 跑两次，工具调用序列、轮数、token 数都可能不一样。这让传统"固定请求分布"式的 LLM serving 压测方法直接失效。XPerf 用细粒度 trace replay 把真实 agent 运行轨迹录下来，可复现地在不同 serving 系统上重放，从而做到公平、可复现的性能对比与瓶颈定位。

🎯 问题

Agentic workload 的非确定性打破了传统压测方法

主流 LLM serving benchmark（如固定 QPS、固定输入/输出长度分布的合成负载）默认请求到达模式是可预先设定、可重复的。但 agentic 应用（编码助手、deep research、多轮 Q&A 等）的控制流本身依赖 LLM 的非确定性输出——模型这一步决定要不要调用工具、调用几次、要不要多轮迭代，都会随机变化。这意味着同一个 agent 任务在两次运行之间产生的请求序列（数量、顺序、长短）可能完全不同，传统压测工具既无法真实还原 agent 对 serving 系统施加的负载模式，也无法保证不同 serving 系统之间比较的公平性——因为两边实际收到的请求流本身就不一样。

Agentic workload 通常表现为长会话中的多轮 LLM 调用，中间穿插工具调用、检索、代码执行等非 LLM 步骤，且上下文随轮次持续增长（prefix 复用度高）。这种"长上下文 + 多轮 + 分支控制流"的形态，与传统单轮补全式负载的资源画像（prefill/decode 比例、KV cache 复用模式、并发波动）有本质差异，是 serving 系统调优需要单独考虑的场景。

🔬 方法

细粒度 Trace Replay

XPerf 的核心思路是"录制—重放"：先从真实 agentic 应用运行中采集完整的执行轨迹（trace），包括每一步 LLM 调用的输入输出、工具调用节点、调用间隔与依赖关系；需要时也可以基于这些轨迹合成新的负载模式（如调整并发度、请求间隔分布）；最后将同一份轨迹在不同 LLM serving 系统上可复现地重放，从而把"负载本身的随机性"和"serving 系统的性能差异"解耦开来，让跨系统对比建立在完全相同的输入之上。

内置 8 个默认 Agentic 应用

XPerf 默认集成了覆盖编码（coding）、深度研究（deep research）、问答（Q&A）等多种典型场景的 8 个 agentic 应用，作为开箱即用的基准负载集，用户无需自己从零采集 trace 即可开始压测。

Coding AgentDeep ResearchQ&A

详细的系统 & 硬件 Profiling

除了负载重放，XPerf 还对 serving 系统和底层硬件做细粒度性能画像，帮助用户定位 agentic workload 给 serving 系统带来的具体瓶颈（如 KV cache 压力、调度延迟、prefill/decode 资源争抢等），而不只是给出端到端吞吐/延迟这类聚合指标。

▶ 论文原文摘要（英文）

We present XPerf, a benchmarking framework that load-tests LLM serving systems with diverse agentic AI workloads. It provides detailed profiling of the serving system and hardware, enabling users to identify performance bottlenecks introduced by agentic workloads. Benchmarking LLM serving systems under agentic workloads is challenging - agentic applications rely on nondeterministic LLM outputs to guide their control flow; therefore, workload patterns vary unpredictably from run to run. XPerf minimizes this workload variation with a fine-grained trace replay approach: it enables users to easily collect traces from real agentic applications, synthesize new workloads with various patterns if needed, and reproducibly replay them on different LLM serving systems. XPerf includes eight agentic applications across diverse use cases (e.g., coding, deep research, and Q&A) by default. Our empirical study using these workloads shows that XPerf accurately replays agentic workloads, provides detailed performance breakdowns, scales to larger serving systems, and assists in serving system debugging. We will open-source XPerf on GitHub.

📊 结果

重放精度、可扩展性与调试实用性

作者的实证研究表明：(1) XPerf 能够准确重放agentic workload 的原始负载特征；(2) 能提供细粒度的性能拆解，而不仅是端到端汇总数字；(3) 可扩展到更大规模的 serving 系统部署；(4) 在实际的 serving 系统 debug 场景中被证明有帮助。论文摘要未给出具体量化数字（吞吐提升百分比、延迟对比表等），这部分细节应在正文实验章节，需读全文或等待代码/论文正式版本获取。

团队计划将 XPerf 在 GitHub 开源，但截至本文撰写时摘要页尚未附带仓库链接。

💡 相关性

对于关注 LLM serving / 推理基础设施的读者，XPerf 提供了一个从"agentic 负载视角"重新审视 serving 系统评测方法论的工具：它指出了当前多数 serving benchmark 默认的"确定性、静态负载分布"假设在 agent 场景下不成立，并给出了 trace-replay 这一相对通用的解决范式。这类问题与全双工/实时交互场景也有交集——无论是 agentic 应用的多轮非确定性调用，还是全双工对话中的实时轮次决策，本质上都要求 serving 层能在负载模式高度动态的情况下维持可预测的延迟与吞吐，这类压测与画像工具可以作为未来评估 duplex agent 底层 serving 性能时的参考方法论。

LLM ServingBenchmarkAgentic WorkloadTrace ReplayInfrastructure