高效/情感可控语音合成与低码率语音编解码技术链(VoiceFlow、UniCATS、vec2wav 2.0、EmoVoice、LSCodec、CodecSlime)
一套围绕离散语音token和流匹配的语音生成技术,从少步高质量合成、语音编辑、情感可控合成,到单码本低码率、说话人解耦的语音编解码。
- 负责团队
- X-LANCE 俞凯、陈谐课题组(Yiwei Guo、Chenpeng Du、Hankun Wang、Guanrou Yang 等)
- 所属学院
- 计算机学院
- 技术成熟度
- TRL 4
- 合作方式
- 许可联合开发委托研发
- 技术详情
生成侧:VoiceFlow(ICASSP 2024)用整流流匹配以更少步数合成高质量语音;UniCATS(AAAI 2024)支持利用上下文的语音续写与编辑;vec2wav 2.0是语音token声码器;EmoVoice(ACM MM 2025)可以用自然语言细粒度控制情感,并开源了40小时的EmoVoice-DB。编解码侧:LSCodec(Interspeech 2025)通过多阶段训练得到单码本、低码率、说话人解耦的编码;CodecSlime(ICASSP 2026)用动态帧率压缩时间冗余。团队还在IEEE TPAMI 2026发表了离散语音token综述,这类token正是语音大模型的输入输出接口。衡阳的机器人主控厂和通信模组厂可以用这套技术实现弱网或多机协同下的低带宽语音传输,以及情感化播报。(来源:https://arxiv.org/abs/2309.05027;https://arxiv.org/abs/2306.07547;https://arxiv.org/abs/2410.15764;https://arxiv.org/abs/2504.12867;https://github.com/X-LANCE/VoiceFlow-TTS;https://github.com/cantabile-kwok/vec2wav2.0;https://github.com/yanghaha0908/EmoVoice;https://github.com/X-LANCE/LSCodec-Inference;https://github.com/X-LANCE/codecslime;https://x-lance.sjtu.edu.cn/repositories;https://x-lance.sjtu.edu.cn/~kaiyu/index_zh.html;https://x-lance.sjtu.edu.cn/js/papers-data.js)
- 关键指标
GitHub:VoiceFlow-TTS 374 星,UniCATS-CTX-vec2wav 130 星,StoryTTS 142 星,EmoVoice 125 星,vec2wav2.0 79 星,LSCodec-Inference 37 星;EmoVoice-DB 40小时
- 专利 / 软著
- 登录后可见 · 登录
- 联系人与方式
- 仅分院工作人员可见
