全双工语音智能体 · 原生工具调用

Duopra从全双工对话,
到全双工行动。

它边听边说,还会自己判断什么时候该动手。

Chiyu Chen1,2* Pengzhou Cheng3* Yuezhao Ma1 Xiaocheng Li1 Can Liu1 Haonan Hu2 Yao Yao1 Yifei Yang1 Yijie Lu1 Taolei Wang1 Yansi Li1 Muhuan Wu4 Zhuosheng Zhang1† Gongshen Liu1† Chenglu Sun2‡

1上海交通大学 2腾讯 3上海大学 4独立研究者

*同等贡献 †通讯作者 ‡项目负责人

真实录音
其实是 150 欧元,不是 100。Duopra 听到改口,自己决定调用工具,并在还在说话时就把调用发了出去。
演示视频 即将上线
在 Duopra 应用中录制(中文,结尾为英文)。Duopra 一边说话,一边用工具查明天上海的天气;把一天的行程和一笔小账交给后台模型,就像调用又一个工具;用户中途插话,让它把故事从春天改成秋天、再改用英文,它都接得上。
#1开源系统中排名第一Full-Duplex-Bench v3,接开放后台时 Pass@1 为 49.3%;开源系统中其次是自报的 48.0%,评测流程与 judge 都不同。
47.7%自己调用工具时的任务通过率300 个会话的 Pass@1,不经过后台。
1.8×全双工强化学习带来的通过率提升监督微调后为 26.0%,强化学习后为 47.7%,同一批 300 个会话。
91.3%被打断后作出回应Full-Duplex-Bench v1.0,3 个种子,在我们的流式评测流程中测得。
概览

边听,边说,边做。

全双工模型已经知道什么时候听、什么时候说。Duopra 还知道什么时候动手——它在话说到一半时自己调用工具,这些动作从不出声。

边听边说

每一秒,Duopra 都在决定这一秒是听还是说。你说完它接话,你句中停顿它不抢,你插话它就让。

说着话就动手

工具调用走一条私有通道,在 Duopra 还在说话时就发出。调用本身从不被念出来,念出来的只有结果。

跟得上改口

请求说到一半改了数值,进入工具的只有最后那个值——被放弃的 100 不会。

一句话里的多步任务

一口气说出的两项修改,变成两次调用;每一项都等结果返回之后才念出。

后台模型,像工具一样调用

接上一个后台模型,它就成了又一个工具 query(task)。Duopra 把事情交给后台,和调用任何工具一样:对话不停,也听不到任何交接。

工具由你来定

一个工具就是一份 JSON schema:名字、描述和参数,在运行时提供。写下你自己的工具——日程、数据库、家里的设备——Duopra 就能调用它。

真实录音

逐秒看它是怎么发生的。

两段评测中的会话,按录音时间重放。

关于录音
这是挑选出来的两段会话,不代表成功率。转写、工具调用和发生的先后来自保存的运行记录;波形由音频测得。
关于音频
用户音频来自 Full-Duplex-Bench v3。助手音频是同一次运行录下的输出,用的是原 projector,不是最终版。
工具与转写
工具都是基准里的模拟接口,不涉及任何真实金融服务。助手转写来自 ASR,可能有识别错误。
工作方式

说什么、做什么,由同一个策略决定。

每一秒,Duopra 读入新的音频和已返回的工具结果,同时输出三样东西。

yt = ( mt , wt , at )
话轮状态听还是说
文字由 talker 念出
动作从不出声

这是一个因果策略,条件是到目前为止的音频、已注入的观测和它自己之前的输出。对话与工具调用一起决定,不在组件之间来回传递。

后台也只是一个工具。

后台 agent 以 query(task) 的形式出现,参数是对用户任务的完整描述。直接调用还是委派,是同一个策略做出的同一类决定——没有外部调度器。

结果落在单元边界上。

运行时异步执行每次调用,并在结果返回后的第一个 1 秒边界注入上下文。等待期间模型照常听、照常说,结果到了才报出数值。

同一个请求的两条时间线。前后台分离时,看不到工具 schema 的前台把任务交给后台三次;Duopra 能看到 schema,先问清航班和日期,再自己调用两次 flight.status。
图 1. 为什么前台必须自己动手(示意,1 秒单元)。(a) 工具 schema 只对后台可见,前台知道要做什么,却不知道怎么做:它立刻把请求交出去,之后用户的回答和改口又各要再交一次。(b) Duopra 能看到这些 schema,包括后台工具 query(task):它先问清两个值,再自己调用 flight.status,改期后再调一次。

分三个阶段训练

每个阶段解决一个问题:动作的格式、要不要动手,以及 thinker 一变就会跑偏的声音。

  1. 1Stage 1

    协议 SFT

    学会动作的格式。

    在合成会话上对 thinker 做监督微调,示范完整的协议:按 schema 调用工具,结果返回前不播报,只追问缺失的值。

    Duopra-SFT · Pass@126.0%调用格式正确,但仍有 55% 的会话一次也没调用。
  2. 2Stage 2

    全双工强化学习

    学会何时动手。

    在 thinker 的 LoRA 上做 Dr. GRPO,每个任务 8 个 rollout;沙盒给每个 rollout 播放同一个脚本化用户。时间锚定的截止与结果分级,奖励及时、完整、有依据的调用。

    Duopra · Pass@126.0→47.7%没有调用的会话从 55% 降到 19%。
  3. 3Stage 3

    只修 projector

    让声音保持清晰。

    后训练会改变 thinker 的隐藏状态,而这些状态决定 talker 怎么发音。只在缓存特征上重训两者之间的 projector;文字、控制 token 和调用都不受影响。

    试点 · 中文字错误率5.17→1.78%88 条试点样本;后训练前为 2.05%。
三个训练阶段。Stage 1 在单元级会话上训练 thinker;Stage 2 在包含脚本化用户、后台 agent、模拟工具和评分器的沙盒里,用 Dr. GRPO 训练 thinker 的 LoRA;Stage 3 只在缓存的隐藏状态上训练 projector。
图 2. Duopra 在 Realtime-Venus-Audio 上的三个训练阶段,每行标出该阶段训练的部分。ht:thinker 隐藏状态;P:projector;ct:talker 的条件输入。
实测结果

工具是真的被调起来了。

在 Full-Duplex-Bench v3 上,通过率在开源系统中最高。

Full-Duplex-Bench v3 上的 Pass@1

一次会话里实际执行的调用与金标完全一致——工具正确、参数全对、没有多余调用——才算通过。

GPT-Realtime*
60.0报告值
Gemini Live 3.1*
54.0报告值
MOSS-Live*
51.0报告值
Duopra · DeepSeek 后台
49.3± 3.5
Gemini Live 2.5*
49.0报告值
Hu et al. · Qwen3-235B 后台
48.0报告值
Duopra · 自己调用工具
47.7± 3.5
DuplexAgent-RSI
47.0报告值
Cascaded*
45.0报告值
Duopra · Qwen3-8B 后台
44.7± 5.7
Grok*
43.0报告值
Realtime-Venus-Audio · 离线
42.0报告值
Ultravox v0.7*
41.0报告值
Gander · GPT-5.6
40.0报告值
NemotronLabs VoiceChat
33.0报告值

Full-Duplex-Bench v3:100 条真实、不流利的英文录音,12 个模拟 API。Duopra 由我们的评测流程跑出——3 个种子,每种配置 300 个会话,judge 为 Qwen3.8-27B;± 为种子间的标准差。斜线条为文献报告值,用的是各自来源的评测流程和 judge(多为 GPT-4o),只能粗略比较。* 为商业系统。

训练消除了「不动手」。

300 个会话各自的结局,Duopra 各阶段均为自己调用工具。

Duopra-SFTStage 1 之后
26%55%
Duopra-RL1Stage 2a 之后
27%44%
DuopraStage 2b 之后
48%34%19%

多步请求变得可解:在需要两到三次调用的 102 个会话里,Duopra 通过 28 个,SFT 之后只有 2 个。剩下的提升空间在参数上——参数错误(占全部会话 19.3%)已经和没有调用(18.7%)一样多。

以表格查看
运行(300 个会话)通过参数错误漏调用多调用没有调用
Duopra-SFT7817381166
Duopra-RL18017720131
Duopra1435840356

学会动手,没有忘记对话。

FDB v1.0 接管率:Duopra 与它所基于的模型 Realtime-Venus-Audio,在同一流程下测得(%)。

用户说完后接话 越高越好

59.1
75.6

用户句中停顿时抢话 越低越好

18.1
5.4

被打断后作出回应 越高越好

79.5
91.3

并非所有行为都保住了:Duopra 回应打断的比例低于 Duopra-RL1(96.5%),而且和所有后训练阶段一样,不再附和。

更多数字——上面各系统的全部指标,以及 Duopra 的对话指标展开
Full-Duplex-Bench v3——工具选择、参数、回复质量与 Pass@1(%)
系统工具参数回复Pass@1
商业系统*,文献报告值
GPT-Realtime87.668.079.260.0
Gemini Live 3.181.758.871.854.0
MOSS-Liven/an/an/a51.0
Gemini Live 2.578.659.355.449.0
Cascaded80.356.260.045.0
Grok79.754.261.743.0
Ultravox v0.779.451.351.041.0
开源系统,文献报告值
Hu et al.,Qwen3-235B 后台71.755.267.048.0
DuplexAgent-RSI97.457.0n/a47.0
Realtime-Venus-Audio,离线82.052.2n/a42.0
Gander,GPT-5.675.950.349.040.0
NemotronLabs VoiceChat82.542.2n/a33.0
Duopra,我们的评测流程
Duopra,自己调用工具76.756.266.347.7 ± 3.5
Duopra,Qwen3-8B 后台81.857.070.644.7 ± 5.7
Duopra,DeepSeek 后台71.855.069.049.3 ± 3.5

工具:工具选择 F1,不需要 judge(Hu et al. 报告的是工具选择准确率)。参数:参数准确率。回复:回复质量。n/a:未报告。加粗:各组内最好。文献报告值来自各自来源的评测流程和 judge(多为 GPT-4o);Duopra 的结果用 Qwen3.8-27B 作 judge。DuplexAgent-RSI 基于 VoiceChat(在 Qwen-Realtime 上为 49.0),参数按字符串精确匹配;Realtime-Venus-Audio 离线评测时工具定义写在提示词里;MOSS-Live 报告的是工具调用成功率。我们在自己的评测流程中运行的其他开源系统,列在论文的表 1 中。

对话控制与通用能力——Duopra
指标数值
用户说完后接话 ↑ FDB v1.075.6
用户句中停顿时抢话 ↓ FDB v1.05.4
被打断后作出回应 ↑ FDB v1.091.3
接话率 ↑ FDB v3,自己调用工具93.0
VoiceBench 九类均值 ↑55.9
任务完成延迟 ↓ 领域工具与后台同时可见,Qwen3-8B10.42 s

Pass@1 只看调用记录,不看语音转写。± 为 3 个种子的标准差。涉及判分的指标由 Qwen3.8-27B 作 judge;工具选择 F1 不需要 judge。若所有请求都委派给后台,任务完成延迟会升到 14.85 秒。

论文

Duopra: From Full-Duplex Conversation to Full-Duplex Agency

代码与模型权重现已公开,预印本即将公开。

阅读摘要

全双工交互模型已经展现出很强的对话智能,能够自然、低延迟地完成话轮转换、附和与打断。然而,要成功完成任务,还需要任务能力(task agency)——及时调用工具,并在用户改口后修正参数。在前后台架构中,委派错误与执行错误往往纠缠在一起,掩盖了主要瓶颈。我们首先在 Full-Duplex-Bench(FDB)v3 上研究这一问题:Realtime-Venus-Audio 搭配其原始 Harness 只在 11.0% 的会话中委派,通过率为 4.7%;即使后台完美,最多也只能提升 6.3 个百分点。随后我们提出 Duopra,它直接执行不出声的工具调用,并把委派后台视为一次工具选择。三阶段训练结合了监督微调、带时间锚定截止与分级奖励的全双工强化学习,以及只训练 projector 的 talker 修复。后台固定时,Duopra 把通过率从 4.7% 提高到 44.7%,而换用大得多的后台只带来 4.7 个百分点的提升。它独立运行时达到 47.7%,接开放后台时达到 49.3%,超过所有参与比较的开源系统。补充评测显示,相比基座模型,它的话轮控制与重叠处理更好,但附和有所减少,说明任务能力可以建立在对话能力之上。

BibTeX

@misc{duopra2026,
  title  = {Duopra: From Full-Duplex Conversation
            to Full-Duplex Agency},
  author = {Chen, Chiyu and Cheng, Pengzhou and Ma, Yuezhao and Li, Xiaocheng
            and Liu, Can and Hu, Haonan and Yao, Yao and Yang, Yifei
            and Lu, Yijie and Wang, Taolei and Li, Yansi and Wu, Muhuan
            and Zhang, Zhuosheng and Liu, Gongshen and Sun, Chenglu},
  year   = {2026},
  note   = {Preprint forthcoming},
  url    = {https://cychen2003.github.io/duopra/}
}

预印本公开后,这条记录会补上链接。