SLAM-Omni 音色可控的端到端语音对话系统(开源)
端到端的语音到语音对话模型:用语义token建模语音,把音色交给声码器处理,从而实现零样本音色控制和中英多轮对话,单阶段训练4卡15小时即可完成。配套有URO-Bench评测基准。
- 负责团队
- X-LANCE 陈谐、俞凯课题组(第一作者 Wenxi Chen),与微软合作
- 所属学院
- 计算机学院
- 技术成熟度
- TRL 5
- 合作方式
- 联合开发委托研发技术服务
- 技术详情
SLAM-Omni(ACL 2025 Findings)用语义token表示语音,并把说话人信息解耦到声码器,因此单阶段训练就能获得零样本音色控制。它用分组语音token降低算力需求,用历史文本提示压缩对话历史,实现高效的多轮交互。SLAM-LLM仓库开放了完整的训练推理流程、Docker镜像,以及VoiceAssistant-400K、UltraChat-300K、Belle_1.4M三套重合成数据和对应检查点;同一团队的URO-Bench用40个测试集,从理解、推理、口语会话三个维度评测端到端语音对话模型。衡阳的服务机器人和人形机器人集成商可以在此基础上搭建低成本的“听—想—说”一体化语音交互中枢,并用URO-Bench做选型和验收。(来源:https://arxiv.org/abs/2412.15649;https://aclanthology.org/2025.findings-acl.115.pdf;https://github.com/X-LANCE/SLAM-LLM/blob/main/examples/s2s/README.md;https://slam-omni.github.io/;https://arxiv.org/abs/2502.17810;https://x-lance.sjtu.edu.cn/papers;https://x-lance.sjtu.edu.cn/js/papers-data.js)
- 关键指标
训练成本4张GPU × 15小时;URO-Bench含40个测试集(基础20+进阶20)、3个评测维度
- 专利 / 软著
- 登录后可见 · 登录
- 联系人与方式
- 仅分院工作人员可见
