边听边说
每一秒,Duopra 都在决定这一秒是听还是说。你说完它接话,你句中停顿它不抢,你插话它就让。
它边听边说,还会自己判断什么时候该动手。
其实是 150 欧元,不是 100。Duopra 听到改口,自己决定调用工具,并在还在说话时就把调用发了出去。
全双工模型已经知道什么时候听、什么时候说。Duopra 还知道什么时候动手——它在话说到一半时自己调用工具,这些动作从不出声。
每一秒,Duopra 都在决定这一秒是听还是说。你说完它接话,你句中停顿它不抢,你插话它就让。
工具调用走一条私有通道,在 Duopra 还在说话时就发出。调用本身从不被念出来,念出来的只有结果。
请求说到一半改了数值,进入工具的只有最后那个值——被放弃的 100 不会。
一口气说出的两项修改,变成两次调用;每一项都等结果返回之后才念出。
接上一个后台模型,它就成了又一个工具 query(task)。Duopra 把事情交给后台,和调用任何工具一样:对话不停,也听不到任何交接。
一个工具就是一份 JSON schema:名字、描述和参数,在运行时提供。写下你自己的工具——日程、数据库、家里的设备——Duopra 就能调用它。
两段评测中的会话,按录音时间重放。
每一秒,Duopra 读入新的音频和已返回的工具结果,同时输出三样东西。
这是一个因果策略,条件是到目前为止的音频、已注入的观测和它自己之前的输出。对话与工具调用一起决定,不在组件之间来回传递。
后台 agent 以 query(task) 的形式出现,参数是对用户任务的完整描述。直接调用还是委派,是同一个策略做出的同一类决定——没有外部调度器。
运行时异步执行每次调用,并在结果返回后的第一个 1 秒边界注入上下文。等待期间模型照常听、照常说,结果到了才报出数值。
query(task):它先问清两个值,再自己调用 flight.status,改期后再调一次。每个阶段解决一个问题:动作的格式、要不要动手,以及 thinker 一变就会跑偏的声音。
学会动作的格式。
在合成会话上对 thinker 做监督微调,示范完整的协议:按 schema 调用工具,结果返回前不播报,只追问缺失的值。
学会何时动手。
在 thinker 的 LoRA 上做 Dr. GRPO,每个任务 8 个 rollout;沙盒给每个 rollout 播放同一个脚本化用户。时间锚定的截止与结果分级,奖励及时、完整、有依据的调用。
让声音保持清晰。
后训练会改变 thinker 的隐藏状态,而这些状态决定 talker 怎么发音。只在缓存特征上重训两者之间的 projector;文字、控制 token 和调用都不受影响。
在 Full-Duplex-Bench v3 上,通过率在开源系统中最高。
一次会话里实际执行的调用与金标完全一致——工具正确、参数全对、没有多余调用——才算通过。
Full-Duplex-Bench v3:100 条真实、不流利的英文录音,12 个模拟 API。Duopra 由我们的评测流程跑出——3 个种子,每种配置 300 个会话,judge 为 Qwen3.8-27B;± 为种子间的标准差。斜线条为文献报告值,用的是各自来源的评测流程和 judge(多为 GPT-4o),只能粗略比较。* 为商业系统。
300 个会话各自的结局,Duopra 各阶段均为自己调用工具。
多步请求变得可解:在需要两到三次调用的 102 个会话里,Duopra 通过 28 个,SFT 之后只有 2 个。剩下的提升空间在参数上——参数错误(占全部会话 19.3%)已经和没有调用(18.7%)一样多。
| 运行(300 个会话) | 通过 | 参数错误 | 漏调用 | 多调用 | 没有调用 |
|---|---|---|---|---|---|
| Duopra-SFT | 78 | 17 | 38 | 1 | 166 |
| Duopra-RL1 | 80 | 17 | 72 | 0 | 131 |
| Duopra | 143 | 58 | 40 | 3 | 56 |
FDB v1.0 接管率:Duopra 与它所基于的模型 Realtime-Venus-Audio,在同一流程下测得(%)。
并非所有行为都保住了:Duopra 回应打断的比例低于 Duopra-RL1(96.5%),而且和所有后训练阶段一样,不再附和。
| 系统 | 工具 | 参数 | 回复 | Pass@1 |
|---|---|---|---|---|
| 商业系统*,文献报告值 | ||||
| GPT-Realtime | 87.6 | 68.0 | 79.2 | 60.0 |
| Gemini Live 3.1 | 81.7 | 58.8 | 71.8 | 54.0 |
| MOSS-Live | n/a | n/a | n/a | 51.0 |
| Gemini Live 2.5 | 78.6 | 59.3 | 55.4 | 49.0 |
| Cascaded | 80.3 | 56.2 | 60.0 | 45.0 |
| Grok | 79.7 | 54.2 | 61.7 | 43.0 |
| Ultravox v0.7 | 79.4 | 51.3 | 51.0 | 41.0 |
| 开源系统,文献报告值 | ||||
| Hu et al.,Qwen3-235B 后台 | 71.7 | 55.2 | 67.0 | 48.0 |
| DuplexAgent-RSI | 97.4 | 57.0 | n/a | 47.0 |
| Realtime-Venus-Audio,离线 | 82.0 | 52.2 | n/a | 42.0 |
| Gander,GPT-5.6 | 75.9 | 50.3 | 49.0 | 40.0 |
| NemotronLabs VoiceChat | 82.5 | 42.2 | n/a | 33.0 |
| Duopra,我们的评测流程 | ||||
| Duopra,自己调用工具 | 76.7 | 56.2 | 66.3 | 47.7 ± 3.5 |
| Duopra,Qwen3-8B 后台 | 81.8 | 57.0 | 70.6 | 44.7 ± 5.7 |
| Duopra,DeepSeek 后台 | 71.8 | 55.0 | 69.0 | 49.3 ± 3.5 |
工具:工具选择 F1,不需要 judge(Hu et al. 报告的是工具选择准确率)。参数:参数准确率。回复:回复质量。n/a:未报告。加粗:各组内最好。文献报告值来自各自来源的评测流程和 judge(多为 GPT-4o);Duopra 的结果用 Qwen3.8-27B 作 judge。DuplexAgent-RSI 基于 VoiceChat(在 Qwen-Realtime 上为 49.0),参数按字符串精确匹配;Realtime-Venus-Audio 离线评测时工具定义写在提示词里;MOSS-Live 报告的是工具调用成功率。我们在自己的评测流程中运行的其他开源系统,列在论文的表 1 中。
| 指标 | 数值 |
|---|---|
| 用户说完后接话 ↑ FDB v1.0 | 75.6 |
| 用户句中停顿时抢话 ↓ FDB v1.0 | 5.4 |
| 被打断后作出回应 ↑ FDB v1.0 | 91.3 |
| 接话率 ↑ FDB v3,自己调用工具 | 93.0 |
| VoiceBench 九类均值 ↑ | 55.9 |
| 任务完成延迟 ↓ 领域工具与后台同时可见,Qwen3-8B | 10.42 s |
Pass@1 只看调用记录,不看语音转写。± 为 3 个种子的标准差。涉及判分的指标由 Qwen3.8-27B 作 judge;工具选择 F1 不需要 judge。若所有请求都委派给后台,任务完成延迟会升到 14.85 秒。
全双工交互模型已经展现出很强的对话智能,能够自然、低延迟地完成话轮转换、附和与打断。然而,要成功完成任务,还需要任务能力(task agency)——及时调用工具,并在用户改口后修正参数。在前后台架构中,委派错误与执行错误往往纠缠在一起,掩盖了主要瓶颈。我们首先在 Full-Duplex-Bench(FDB)v3 上研究这一问题:Realtime-Venus-Audio 搭配其原始 Harness 只在 11.0% 的会话中委派,通过率为 4.7%;即使后台完美,最多也只能提升 6.3 个百分点。随后我们提出 Duopra,它直接执行不出声的工具调用,并把委派后台视为一次工具选择。三阶段训练结合了监督微调、带时间锚定截止与分级奖励的全双工强化学习,以及只训练 projector 的 talker 修复。后台固定时,Duopra 把通过率从 4.7% 提高到 44.7%,而换用大得多的后台只带来 4.7 个百分点的提升。它独立运行时达到 47.7%,接开放后台时达到 49.3%,超过所有参与比较的开源系统。补充评测显示,相比基座模型,它的话轮控制与重叠处理更好,但附和有所减少,说明任务能力可以建立在对话能力之上。
@misc{duopra2026,
title = {Duopra: From Full-Duplex Conversation
to Full-Duplex Agency},
author = {Chen, Chiyu and Cheng, Pengzhou and Ma, Yuezhao and Li, Xiaocheng
and Liu, Can and Hu, Haonan and Yao, Yao and Yang, Yifei
and Lu, Yijie and Wang, Taolei and Li, Yansi and Wu, Muhuan
and Zhang, Zhuosheng and Liu, Gongshen and Sun, Chenglu},
year = {2026},
note = {Preprint forthcoming},
url = {https://cychen2003.github.io/duopra/}
}
预印本公开后,这条记录会补上链接。