eess.AS · 2607.07148 · 8 Jul 2026 · NVIDIA & NTU & HKUST

DuplexPO: Decoupling Conversational Dynamics in Full-Duplex Spoken Models through Reinforcement Learning

Yuxin Li, Donghang Wu, Guan-Ting Lin, Hung-yi Lee, Chengwei Qin, Zhehuai Chen, Chen Chen

全双工语音强化学习 GRPO Turn-Taking DuplexOmni 线

核心主张：全双工模型比半双工模型推理差，不是因为"同时听和说"本身有矛盾，而是因为训练时把"说什么"和"什么时候说"耦合在一起了。DuplexPO 只用 RL 优化时序控制决策（turn-taking / backchannel / barge-in yield），结果：对话动态大幅提升的同时，智能基准也没有下降——甚至略有提升。核心工具是 FCDR（Factorized Conversational Dynamics Reward），把奖励分解为四个独立的事件级信号。

🎯 问题定义：intelligence–dynamics trade-off

现象

全双工模型（Moshi, SALM-Duplex, SALMONN-omni）在推理 / 指令跟随 benchmark 上比半双工模型（Qwen2-Audio, Kimi-Audio）差一大截。Moshi 的 LlamaQ 54.5，Kimi-Audio 68.3，差距 14 分。同时半双工模型无法处理打断和实时 backchannel。

以往解释：两件事本身矛盾——深度推理需要"长序列全局一致性生成"，实时决策需要"毫秒级本地决策"。

本文反驳：矛盾来自训练耦合，不来自任务本身

模型层面：在 Fisher 等自然对话语料上做 SFT，会把"说什么"和"何时说"混进同一个梯度。这两者冲突：说什么需要长程上下文，何时说需要局部时序决策。

数据层面：Fisher 是无目标导向的闲聊，推理能力在这类数据上被稀释。

解法：SFT 教"说什么"，RL 只教"何时说"——用 dynamics-critical window 把 RL 更新限制在边界事件附近，不碰语义生成的梯度。

🔧 方法：三件事组合在一起

① Dynamics-Critical Window Sampling

不对所有帧做 RL，只在"动态关键窗口"内采样。窗口 W_i = (s_i, e_i, g_i, h_i, c_i)，其中 [g_i, h_i) 是标注的参考说话区间，s_i / e_i 是往前延伸 lead time L、往后延伸 buffer time B 的采样窗口。

参数（Appendix H 实验最优）：L = 300ms，B = 200ms，总窗口约 500–600ms。L > 500ms 时 reward 下降 40–50%（信号被稀释）。

意义：信用分配问题在序列决策中一直是核心难题。这里用标注先验把采样集中在因果关键帧附近——类似 curriculum，但是空间/时序维度的定向采样。

② Factorized Conversational Dynamics Reward (FCDR)

FCDR 把奖励分解为四个独立分量，每个分量只在对应事件类型的窗口激活（由 mask m^*_i 控制）：

分量	目标行为	数学形式	范围
R_on	turn 发起时机	𝕀[说话] · exp(−τ² / 2σ²)，Gaussian 时序惩罚	[0, 1]
R_bc	backchannel 准确性	𝕀[说话] · max_t∈帧(落在标注区=1，落在外=e^−αd)	[0, 1]
R_off	barge-in 后 yield	−clip(max(0, ℓ − ℓ*) / H, 0, 1)，负奖励	[−1, 0]
R_reg	参与模式正则化	−clip(Σβ_k·违规模式, 0, 1)	[−1, 0]

最终 FCDR = λ_on·m_on·R_on + λ_bc·m_bc·R_bc + λ_off·m_off·R_off + λ_reg·R_reg。

③ GRPO 策略优化

对窗口 i 采样 K 个续写，归一化得到优势：
A_i,k = clip((r_i,k − μ_i) / (σ_i + ε), −5, 5)

损失 = 策略梯度 + β·KL(πθ || π_rollout)。KL 惩罚防止 RL 破坏 SFT 学到的语义行为。

vs ASPIRin（同类 RL 工作）：ASPIRin 把动作空间投影到 {active-speech, inactive-silence} 后再做 GRPO，这样做简化了动作空间但损失了细粒度信息。DuplexPO 保留原始动作空间，只限制更新区域在 dynamics-critical window 内。

四阶段训练流程

Stage 1（预训练）：530K 小时伪对话（GPT-OSS-120B / Qwen2.5-72B / Llama3.1-70B 生成文本，LibriTTS / Hi-Fi / YODAS 声音，MUSAN / Freesound 噪声增强）
Stage 2（SFT）：70K 小时指令跟随 QA（单轮+多轮，最长 4 分钟）
Stage 3（DuplexPO RL）：Fisher + Seamless-Naturalistic-HQ，FCDR 奖励，synthetic barge-in（p=0.1，8-token 反应延迟）
Stage 4（TTS SFT）：冻结所有参数，只微调语音解码器（CosyVoice 2），保证音质。

📊 实验结果

对话动态（Table 2 + Table 3）

DuplexPO 的 0.24s latency 是所有系统中最低（包括商业产品），Yield 100%，VIR 5% 优于 Moshi（12%）。

智能基准（Table 4）

DuplexPO 在全部 8 个智能 benchmark 上均优于 SFT Baseline，且是所有全双工方法中最强。

人类偏好（LLM-as-Judge）

🔬 附录精读

Suppressed Intent Analysis（SIR / SRR）— 最有价值的分析

方法	Onset MAE (Fisher)	Turn-Take (FDB-v3)	Latency (FDB-v3)	Yield (FDB-v3)	VIR (FDB-v3)
Moshi	1.99s	100%	0.44s	71.9%	12%
SFT Baseline	0.98s	99%	7.33s	64.8%	8%
SFT Dynamics	1.14s ↑更差	100%	14.24s ↑极差	93.3%	4%
DuplexPO	0.69s	100%	0.24s	100%	5%
GPT-Realtime	—	96%	2.65s	—	—
Gemini Live 3.1	—	78%	1.59s	—	—

方法	FD?	LlamaQ	TriviaQA	AlpacaEval	MMSU
Moshi	✓	54.5	16.7	2.01	24.0
SALM-Duplex	✓	51.3	16.9	2.99	26.3
Kimi-Audio	✗	68.3	51.2	4.46	62.2
SFT Baseline	✓	72.0	48.1	3.43	54.9
DuplexPO	✓	75.3 +3.3	49.9 +1.8	3.68 +0.25	56.2 +1.3

SIR（Suppressed Intent Rate）：有多少窗口里模型内部产生了 <BOS>/<EOS> 冲动但没有发出？
SRR（Suppression Release Ratio）：被压制的冲动中，有多少在后续帧被释放？

数据集	<BOS> SIR	<BOS> SRR	<EOS> SIR	<EOS> SRR
Fisher	11.0%	70.6%	4.9%	100.0%
FDB-v3	10.8%	71.9%	0.9%	100.0%

解读：

<BOS> 压制率 ~11%，但 71% 的压制事件最终被释放——模型学到的是"择时"而不是"放弃发言"
<EOS> 压制极少（0.9–4.9%），且 100% 被释放——一旦决定停，就会停，不磨蹭
这证明 DuplexPO 做的是"时序重路由"而不是全局抑制，语义意图得到保留

消融 1：窗口边界大小（Appendix H）

系统变化 lead time L ∈ {100ms, 200ms, 300ms, 500ms, 1000ms}，buffer time B ∈ {0, 100, 200, 300ms}。
最优：L=300ms，B=200ms。L > 500ms 时 mean reward 下降 40–50%。
结论：RL 信号必须聚焦在事件边界附近，远处帧会稀释 credit assignment。

消融 2：神经奖励模型 vs FCDR（Appendix I）

对比：时序 LSTM 预测帧分数（73% FCDR 性能）、窗口级打分（75%）、部分神经化（如学 Gaussian σ，80%）vs 完整 FCDR（100%）。
结论：显式分解比学出来的 reward 更有效，原因可能是训练数据不足以学出好的奖励函数。

消融 3：优化算法对比（Appendix J）

GRPO 的 group advantage normalization 在细粒度负奖励场景（yield 训练）上比 DPO 明显更好。

注意力分析（Appendix D）

算法	Onset MAE	Yield Rate	Backchannel Rate
GRPO	0.69s	98.7%	100.0%
DPO	0.84s	91.2%	87.5%
A2C	1.02s	85.3%	76.2%

DuplexPO vs Moshi 7B 的自注意力模式：DuplexPO 减少了对 <BOS> sink token 的注意（这些是时序控制 token，不是语义 token），增加了对真实文本 / 近期上下文 / PAD 状态的注意。说明 RL 微调把注意力从时序控制侧重新分配到语义内容侧。

⚖️ RL 做扎实了吗？逐项评估

这是本文最值得仔细分析的部分。当前 RL 论文泛滥，很多工作只是 RLHF 套皮。以下逐项评估 DuplexPO 的 RL 质量。

✅ 做得扎实的地方

1. 核心负面对照实验有说服力。"SFT Dynamics"的存在是关键——它证明了"有对话动态数据 + SFT 不够用"，RL 是必要的，不是可选的。FDB-v3 latency 14.24s vs DuplexPO 0.24s 的对比很难造假，它是真实的系统行为差异。

2. 消融覆盖了核心设计选择。窗口大小（Appendix H）、奖励类型（Appendix I）、优化算法（Appendix J）三个消融回答了"为什么这三个设计选择是正确的"——这在 RL 论文里并不常见。

3. SIR/SRR 分析是机制理解，不只是性能曲线。能回答"RL 到底改变了模型的哪种行为"（选择性时序压制，而非语义抑制），比单纯展示数字更有说服力。

4. 智能 benchmark 全面，且 RL 后没有下降。8 个 benchmark 覆盖事实 QA、推理、指令跟随、语音理解，没有选对自己有利的。RL 后这 8 个都略有提升——这是反 reward hacking 的最强证据。

5. FCDR 的事件级 mask 设计是正确的 reward shaping 方法。m_bc 只在 backchannel 事件上激活，m_off 只在 barge-in 事件上激活——避免不同事件类型的奖励相互干扰。这是 multi-objective RL 的标准做法，执行正确。

6. Synthetic barge-in 的设计有合理的参数（Appendix A）。p=0.1、onset 在 [20%, 80%] 均匀采样、8-token 反应延迟——这些参数都有合理的动机，不是随意选的。

⚠️ 有缺陷或不透明的地方

1. FCDR 的权重 λ_on, λ_bc, λ_off, λ_reg 没有公开。这是核心超参，但正文和附录都没有明确给出具体数值。同时 σ_on(τ) 的"自适应方差"定义模糊——"adaptive"体现在哪个函数上？没有说清楚。这降低了可复现性。

2. RL 阶段的具体超参没有完整列出。学习率、batch size、RL 步数、KL 系数 β 的具体值都只有"建议范围"（如 β ∈ [0.01, 0.1]），不是实际使用值。对于 RL 来说这些超参极其敏感，缺失影响严重。

3. 智能 benchmark 提升是真实提升还是噪声？+3.3 LlamaQ、+1.8 TriviaQA——这些改进没有报告统计显著性。RL 后推理提升在直觉上可以解释（attention 重新分配到语义内容，见 Appendix D），但无显著性检验的情况下不能确定。

4. FDB-v3 是自建 benchmark，不够独立。500 个对话场景覆盖多种 turn-taking 情景——这个 benchmark 是否有 bias 偏向自己系统的设计？文中没有说明设计过程是否与训练数据隔离。

5. 神经奖励模型消融的对比不够强。Appendix I 对比的神经 baseline 是时序 LSTM——2026 年这个选择太弱了。如果用一个训练良好的判别器（比如类似 DPO 训练的奖励模型），结论是否还一样？

6. FCDR 四个分量的独立性没有实证验证。文中说"四个分量去掉任何一个都会降低性能"，但附录 G 里只有"经验上相关性低"。应该有 leave-one-out 消融，逐个去掉分量看具体哪个贡献多少——这是标准做法，文中缺失。

总体 RL 质量评分

结论：中等偏上，有实质性贡献但有可复现性缺口

这篇不是"套皮 RLHF"：核心负面对照实验（SFT Dynamics 更差）和 SIR/SRR 机制分析体现了认真的实验设计。FCDR 的分解思路是真正有价值的创新，窗口采样消融也扎实。

但关键超参（λ 权重、RL 学习率、KL β）不透明，FCDR leave-one-out 消融缺失，神经 reward baseline 太弱——这些缺陷使得复现困难，且给读者留下"这组超参是否经过大量调试才得出好结果"的合理疑问。

工业来源（NVIDIA）可能是双刃剑：有资源做足够训练，但有可能不公开完整超参。

RL 扎实度 7/10核心创新实质可复现性欠缺

💡 可借鉴点

1. Dynamics-Critical Window Sampling — 最通用的 idea

适用场景：任何需要对时序决策做 RL 的系统，且并非所有时间步对最终结果同等重要。

迁移方法：在事件标注（或自动检测的关键时刻）周围定义局部窗口，只在这些窗口内采样 rollout 和计算梯度。这是比"对全序列做 RL"更高信噪比的训练方式，且计算上更高效。

对于 duplex agent / interactive agent 的 RL 训练，这是直接可用的技术——定义"关键决策点"（如用户打断、任务完成点、状态切换）然后局部优化。

2. FCDR 的 Factorized + Masked Reward 设计

核心原则：当系统有多个行为目标（A/B/C 三件事）时，不要把三个目标的 reward 直接加权求和；而是：

为每个目标设计独立 reward 函数
用事件 mask 控制每个分量只在对应场景下激活
最后加权组合，但 mask 保证了没有干扰

这比"单一 scalar reward"的 credit assignment 更精确，比"完全分开训练"更高效。

对 Agentic RL 的直接启发：工具调用、规划、执行、自我纠错等不同行为类型，可以用类似的 factorized reward 分别优化，而不是统一打分。

3. SIR/SRR 作为 policy behavior probe

什么时候用：当你想理解 RL 训练后"模型改变了什么"，不只是看输出质量指标。

迁移方法：对任何有 suppress/release 行为的系统（agent 决策是否执行、reasoning 是否输出、工具是否调用），定义"latent intent"（模型 logit 超过阈值但未执行）和"release rate"（被压制的意图后来是否完成）。这给出比 accuracy 更细粒度的 policy 理解。

4. 训练阶段的职责分离

Stage 2（SFT）= "说什么" | Stage 3（RL）= "何时说" | Stage 4（TTS SFT）= "怎么说"

这个三阶段分离在直觉上非常干净。对 agent 训练的启发：把 内容质量（SFT on QA data）和 行为时机（RL on interaction events）和 输出格式（SFT on output-specific data）分开训练，而不是混在一起。这减少了梯度冲突，也让每个阶段的数据需求更明确。

5. 关键负面结果：SFT on behavior data ≠ behavior improvement

这是本文最重要的工程教训——在对话数据上做 SFT 不能改善 turn-taking，反而更差。

通用化：对于任何需要"精确时机"的行为（何时调用工具、何时终止推理、何时打断输出），SFT 无法提供正确的 credit assignment，因为 SFT 看到的是整段轨迹，无法知道是哪个具体的时序决策导致了好/坏结果。RL 的事件级信号是解决这类问题的必要手段，不是可选的。

🏁 总体判断

对 DuplexOmni 线的定位

DuplexPO 和 DuplexOmni 解同一个问题（推理 vs 响应的矛盾），但方法完全不同：

DuplexOmni：架构解耦（Interaction Layer + Thinking Layer，异步运行）
DuplexPO：训练目标解耦（SFT 教内容，RL 只优化时序控制）

这两种方法不互斥：DuplexPO 的 FCDR + 窗口采样可以作为 DuplexOmni Interaction Layer 的 RL 训练策略，DuplexOmni 的异步 Thinking Layer 则提供了 DuplexPO 没有解决的"深度推理质量上限"问题。

值得追踪的开放问题

FCDR 的 λ 权重如何设定？能否自动搜索或者学习？
DuplexPO 的 RL 能否和 DuplexOmni 的异步架构结合——用 FCDR 训练 Interaction Layer，另用 process reward 训练 Thinking Layer？
SIR/SRR 分析能否推广到 agent 的"工具调用时机"问题——agent 何时决定调工具而不是继续思考？
智能 benchmark 提升（LlamaQ +3.3）是噪声还是真实的？如果是真实的，attention 重分配（Appendix D）是否是机制？

来源：arXiv:2607.07148v1 · 2026-07-08 · Yuxin Li et al. · NVIDIA / NTU / HKUST · Zotero key: BK5U8EHK（Agentic RL + Agent Training collections）