语音驱动数字人与多语种说话人像生成(AniTalker、VQTalker、DAE-Talker)
AniTalker(ACM MM 2024)能从单张肖像和一段音频生成生动多样的说话人脸视频;VQTalker(AAAI 2025)通过面部运动token化支持多语种。可为带屏机器人提供有表情的拟人化交互界面。
整机集成X-LANCE(刘韬 Tao Liu、杜晨鹏 Chenpeng Du、陈琪 Qi Chen 等),陈谐、俞凯指导;AniTalker 与 VQTalker 的作者含思必驰(AISpeech Ltd)人员,README 免责声明以思必驰公司名义发布;DAE-Talker 与微软亚洲研究院合作计算机学院TRL 4
丰富音频与环境声感知(音频描述SLAM-AAC/DRCap、声音事件检测、在线VAD、空间音频理解BAT、DCASE冠军系统)
吴梦玥组率先提出音频描述(Audio Caption)任务(据 X-LANCE 官方简介),并长期做弱监督声音事件检测和文本-音频对齐;陈谐组在 SLAM-LLM 中开源了大模型音频描述(SLAM-AAC)和零样本音频描述(DRCap),并与 UT Austin 合作提出空间音频推理模型 BAT;交大团队获 DCASE 2022、2024 多项冠军。这些能力对应“让机器人听懂环境”。
感知X-LANCE 吴梦玥课题组(音频描述/声音事件检测/DCASE 2022)、陈谐课题组(SLAM-AAC、DRCap、BAT,DCASE 2024 音频描述季军);DCASE 2024 两项冠军由上海交大钱彦旻(现任听觉认知与计算声学实验室 AudioCC Lab 负责人,X-LANCE 官网列为校友)与陈谐等联合清华大学、华北电力大学、华控智加获得计算机学院TRL 4
