大模型智能体:设备/界面操控、记忆规划与工具调用可靠性(Mobile-Env、MobA、META-GUI、Rememberer、ToolHallucination)
陈露、俞凯团队的开源智能体工作,覆盖安卓GUI交互训练评测平台、记忆增强的手机任务自动化、多模态对话式GUI智能体、半参数强化学习智能体,以及降低工具调用幻觉的可靠性对齐。
决策X-LANCE 陈露、俞凯课题组 / OpenDFM(Danyang Zhang、Zichen Zhu、Hongshen Xu 等)计算机学院TRL 4
丰富音频与环境声感知(音频描述SLAM-AAC/DRCap、声音事件检测、在线VAD、空间音频理解BAT、DCASE冠军系统)
吴梦玥组率先提出音频描述(Audio Caption)任务(据 X-LANCE 官方简介),并长期做弱监督声音事件检测和文本-音频对齐;陈谐组在 SLAM-LLM 中开源了大模型音频描述(SLAM-AAC)和零样本音频描述(DRCap),并与 UT Austin 合作提出空间音频推理模型 BAT;交大团队获 DCASE 2022、2024 多项冠军。这些能力对应“让机器人听懂环境”。
感知X-LANCE 吴梦玥课题组(音频描述/声音事件检测/DCASE 2022)、陈谐课题组(SLAM-AAC、DRCap、BAT,DCASE 2024 音频描述季军);DCASE 2024 两项冠军由上海交大钱彦旻(现任听觉认知与计算声学实验室 AudioCC Lab 负责人,X-LANCE 官网列为校友)与陈谐等联合清华大学、华北电力大学、华控智加获得计算机学院TRL 4
高效/情感可控语音合成与低码率语音编解码技术链(VoiceFlow、UniCATS、vec2wav 2.0、EmoVoice、LSCodec、CodecSlime)
一套围绕离散语音token和流匹配的语音生成技术,从少步高质量合成、语音编辑、情感可控合成,到单码本低码率、说话人解耦的语音编解码。
整机集成决策感知X-LANCE 俞凯、陈谐课题组(Yiwei Guo、Chenpeng Du、Hankun Wang、Guanrou Yang 等)计算机学院TRL 4
