丰富音频与环境声感知(音频描述SLAM-AAC/DRCap、声音事件检测、在线VAD、空间音频理解BAT、DCASE冠军系统)
吴梦玥组率先提出音频描述(Audio Caption)任务(据 X-LANCE 官方简介),并长期做弱监督声音事件检测和文本-音频对齐;陈谐组在 SLAM-LLM 中开源了大模型音频描述(SLAM-AAC)和零样本音频描述(DRCap),并与 UT Austin 合作提出空间音频推理模型 BAT;交大团队获 DCASE 2022、2024 多项冠军。这些能力对应“让机器人听懂环境”。
感知X-LANCE 吴梦玥课题组(音频描述/声音事件检测/DCASE 2022)、陈谐课题组(SLAM-AAC、DRCap、BAT,DCASE 2024 音频描述季军);DCASE 2024 两项冠军由上海交大钱彦旻(现任听觉认知与计算声学实验室 AudioCC Lab 负责人,X-LANCE 官网列为校友)与陈谐等联合清华大学、华北电力大学、华控智加获得计算机学院TRL 4