大模型智能体：设备/界面操控、记忆规划与工具调用可靠性（Mobile-Env、MobA、META-GUI、Rememberer、ToolHallucination）
陈露、俞凯团队的开源智能体工作，覆盖安卓GUI交互训练评测平台、记忆增强的手机任务自动化、多模态对话式GUI智能体、半参数强化学习智能体，以及降低工具调用幻觉的可靠性对齐。
决策X-LANCE 陈露、俞凯课题组 / OpenDFM（Danyang Zhang、Zichen Zhu、Hongshen Xu 等）计算机学院TRL 4
丰富音频与环境声感知（音频描述SLAM-AAC/DRCap、声音事件检测、在线VAD、空间音频理解BAT、DCASE冠军系统）
吴梦玥组率先提出音频描述（Audio Caption）任务（据 X-LANCE 官方简介），并长期做弱监督声音事件检测和文本-音频对齐；陈谐组在 SLAM-LLM 中开源了大模型音频描述（SLAM-AAC）和零样本音频描述（DRCap），并与 UT Austin 合作提出空间音频推理模型 BAT；交大团队获 DCASE 2022、2024 多项冠军。这些能力对应“让机器人听懂环境”。
感知X-LANCE 吴梦玥课题组（音频描述/声音事件检测/DCASE 2022）、陈谐课题组（SLAM-AAC、DRCap、BAT，DCASE 2024 音频描述季军）；DCASE 2024 两项冠军由上海交大钱彦旻（现任听觉认知与计算声学实验室 AudioCC Lab 负责人，X-LANCE 官网列为校友）与陈谐等联合清华大学、华北电力大学、华控智加获得计算机学院TRL 4
高效/情感可控语音合成与低码率语音编解码技术链（VoiceFlow、UniCATS、vec2wav 2.0、EmoVoice、LSCodec、CodecSlime）
一套围绕离散语音token和流匹配的语音生成技术，从少步高质量合成、语音编辑、情感可控合成，到单码本低码率、说话人解耦的语音编解码。
整机集成决策感知X-LANCE 俞凯、陈谐课题组（Yiwei Guo、Chenpeng Du、Hankun Wang、Guanrou Yang 等）计算机学院TRL 4
流式关键词唤醒与噪声鲁棒语音前端（KWStreamingSearch开源实现TDT-KWS / CDC-KWS / MFA-KWS；另有NTC-KWS、关键词引导目标说话人提取等论文）
俞凯团队面向资源受限的边缘设备开发的流式关键词检测（唤醒）算法，同时覆盖Transducer和CTC两条技术路线；配套端侧多通道语音增强和关键词引导的目标说话人提取。
感知X-LANCE 俞凯课题组（Yu Xi、Haoyu Li、Xiaoyu Gu 等）计算机学院TRL 5
SLAM-Omni 音色可控的端到端语音对话系统（开源）
端到端的语音到语音对话模型：用语义token建模语音，把音色交给声码器处理，从而实现零样本音色控制和中英多轮对话，单阶段训练4卡15小时即可完成。配套有URO-Bench评测基准。
决策整机集成X-LANCE 陈谐、俞凯课题组（第一作者 Wenxi Chen），与微软合作计算机学院TRL 5
SLAM-LLM 语音/音频大模型框架与大模型语音识别（SLAM-ASR、上下文ASR、中英混说、语音理解）
X-LANCE开源的语音、语言、音频、音乐多模态大模型训练与推理框架，内含SLAM-ASR、MaLa-ASR等大模型语音识别方案，以及中英混说识别和语音大模型理解等配套技术。
感知决策X-LANCE 陈谐课题组（SLAM-LLM、SLAM-ASR、MaLa-ASR、CTC辅助上下文ASR；Ziyang Ma、Guanrou Yang 等）；俞凯课题组（大模型中英混说识别、TASU、MOSA、语音大模型理解综述；Jing Peng、Yu Xi 等）计算机学院TRL 5
F5-TTS 零样本语音合成与声音克隆系统（开源）
X-LANCE陈谐课题组开源的非自回归零样本语音合成模型，基于流匹配和Diffusion Transformer，论文发表于ACL 2025。只需几秒参考音频就能克隆音色，支持中英混说和语速控制；GitHub超1.5万星，HuggingFace模型累计下载超1800万次。
整机集成决策X-LANCE 陈谐课题组（第一作者 Yushen Chen，俞凯参与）计算机学院TRL 6