声纹识别、说话人日志与视听多说话人感知（WeSpeaker、端侧低比特声纹、MSDWILD）
WeSpeaker是WeNet开源社区的声纹工具包，钱彦旻团队（原X-LANCE、现AudioCC Lab）参与共建。钱彦旻团队另有一系列轻量化声纹模型和视听语音分离/识别工作；俞凯团队（与钱彦旻合作）发布了MSDWILD多模态说话人日志数据集和BER评测指标。这些技术可用于机器人识别操作员身份、在多人场景中区分说话人。
- 负责团队
- 钱彦旻团队（现AudioCC Lab；钱彦旻2013–2022年在X-LANCE；Hongji Wang、Bei Liu、Zhengyang Chen 等，负责WeSpeaker共建与轻量化声纹）+ 俞凯团队（Tao Liu 等，负责MSDWILD、BER）
- 所属学院
- 计算机学院
- 技术成熟度
- TRL 5
- 合作方式
- 许可联合开发技术服务
- 产业链环节
- 感知
- 技术详情
WeSpeaker（ICASSP 2023）同时面向研究和生产，提供SOTA说话人嵌入模型、损失函数和打分后端，支持CPU/GPU部署。团队的声纹工作包括DF-ResNet、ECAPA++，以及可在1MB内存内运行的极低比特量化移动端声纹模型（Interspeech 2023）。说话人日志和视听感知方面有：MSDWILD野外多模态说话人日志数据集（Interspeech 2022，含逐帧人脸框）、BER评测指标、视听语音分离与多说话人识别、视听身份验证（TASLP 2021）。注意钱彦旻现独立运营AudioCC实验室，对接时需要同时联系两个团队。衡阳的视觉/听觉传感器厂和整机厂可以把这些技术用于机器人的主人身份确认、主动说话人检测，以及“只听对自己说话的人”。（来源：https://github.com/wenet-e2e/wespeaker；https://arxiv.org/abs/2210.17016；https://github.com/X-LANCE/MSDWILD；https://github.com/X-LANCE/BER；https://x-lance.sjtu.edu.cn/papers；https://x-lance.sjtu.edu.cn/js/papers-data.js；https://audiocc.sjtu.edu.cn/zh/members；https://audiocc.sjtu.edu.cn/zh）
- 关键指标
WeSpeaker GitHub 1,410 星 / 205 fork；MSDWILD 67 星；BER 32 星
- 专利 / 软著
- 登录后可见 · 登录
- 联系人与方式
- 仅分院工作人员可见