声纹识别、说话人日志与视听多说话人感知(WeSpeaker、端侧低比特声纹、MSDWILD)
WeSpeaker是WeNet开源社区的声纹工具包,钱彦旻团队(原X-LANCE、现AudioCC Lab)参与共建。钱彦旻团队另有一系列轻量化声纹模型和视听语音分离/识别工作;俞凯团队(与钱彦旻合作)发布了MSDWILD多模态说话人日志数据集和BER评测指标。这些技术可用于机器人识别操作员身份、在多人场景中区分说话人。
感知钱彦旻团队(现AudioCC Lab;钱彦旻2013–2022年在X-LANCE;Hongji Wang、Bei Liu、Zhengyang Chen 等,负责WeSpeaker共建与轻量化声纹)+ 俞凯团队(Tao Liu 等,负责MSDWILD、BER)计算机学院TRL 5
emotion2vec 通用语音情感表征与 EmoBox 多语种语音情感识别基准
emotion2vec(ACL 2024)是通用语音情感自监督表征模型;EmoBox(Interspeech 2024)在此基础上构建了覆盖32个数据集、14种语言的语音情感识别基准,可供机器人感知用户情绪。
感知X-LANCE 陈谐课题组(第一作者 Ziyang Ma),与阿里巴巴、谢菲尔德大学等合作计算机学院TRL 5
流式关键词唤醒与噪声鲁棒语音前端(KWStreamingSearch开源实现TDT-KWS / CDC-KWS / MFA-KWS;另有NTC-KWS、关键词引导目标说话人提取等论文)
俞凯团队面向资源受限的边缘设备开发的流式关键词检测(唤醒)算法,同时覆盖Transducer和CTC两条技术路线;配套端侧多通道语音增强和关键词引导的目标说话人提取。
感知X-LANCE 俞凯课题组(Yu Xi、Haoyu Li、Xiaoyu Gu 等)计算机学院TRL 5
SLAM-Omni 音色可控的端到端语音对话系统(开源)
端到端的语音到语音对话模型:用语义token建模语音,把音色交给声码器处理,从而实现零样本音色控制和中英多轮对话,单阶段训练4卡15小时即可完成。配套有URO-Bench评测基准。
决策整机集成X-LANCE 陈谐、俞凯课题组(第一作者 Wenxi Chen),与微软合作计算机学院TRL 5
SLAM-LLM 语音/音频大模型框架与大模型语音识别(SLAM-ASR、上下文ASR、中英混说、语音理解)
X-LANCE开源的语音、语言、音频、音乐多模态大模型训练与推理框架,内含SLAM-ASR、MaLa-ASR等大模型语音识别方案,以及中英混说识别和语音大模型理解等配套技术。
感知决策X-LANCE 陈谐课题组(SLAM-LLM、SLAM-ASR、MaLa-ASR、CTC辅助上下文ASR;Ziyang Ma、Guanrou Yang 等);俞凯课题组(大模型中英混说识别、TASU、MOSA、语音大模型理解综述;Jing Peng、Yu Xi 等)计算机学院TRL 5
