上海交通大学跨媒体语言智能实验室（X-LANCE）
X-LANCE成立于2012年，前身为智能语音实验室（SpeechLab），实验室主任为俞凯。研究方向是视听文跨模态的语言感知与认知，分五个方向：对话式语言计算与智能体（大语言模型、智能体、DFM对话大模型）、智能语音与音频基础模型（语音识别、语音合成、说话人建模、语音分离、自监督学习、音频理解）、多模态理解与跨媒体生成（数字人、音视频对齐）、AI for Science与可信行业应用、教育智能与情感计算。官网统计有7位教师、130名在校学生、166位校友、483篇论文，开源代码发布在 github.com/X-LANCE、github.com/OpenDFM 和 huggingface.co/X-LANCE。实验室与思必驰科技股份有限公司深度合作，共建“上海交通大学思必驰智能人机交互联合实验室”，可调用数百块H800/A800/A10等GPU，官网称能做产业级大规模数据研究。实验室公众号称其为语言计算国家新一代人工智能开放创新平台的原始创新支撑基地。
- 英文名称
- Cross Media Language Intelligence Lab (X-LANCE)
- 平台类型
- 课题组 / 实验室
- 所属学院
- 计算机学院
- 负责人
- 俞凯
- 主要研究方向
语音识别与合成、口语对话与语音大模型、声纹与音频理解、多模态感知与数字人、大模型智能体。
- 产业合作与转化
DFM 对话式语言大模型及 ChemDFM 领域大模型（与思必驰联合研发并产业化）：X-LANCE（陈露、俞凯）与思必驰协同研发 DFM 系列对话大模型：据陈露官方简介，相关技术已在智能手机、汽车智能座舱、科学研究等领域推广；思必驰 DFM-2 面向智能汽车、智能家居、消费电子（据媒体报道）。同一技术栈衍生出 130 亿参数的 ChemDFM 化学大模型，已开源。（TRL 8 指经思必驰商业化的 DFM-2；开源的 ChemDFM 为研究级。）；鲁棒语音信号模式分析与识别的深度结构化建模理论与方法（2020年度吴文俊人工智能自然科学奖一等奖）：一套针对信道、环境、说话人三类干扰的深度结构化建模理论与方法。量子位报道称，这是语音领域的研究成果首次获吴文俊人工智能科学技术奖一等奖。获奖成果来自思必驰上海交大智能人机交互联合实验室的校企联合研究，量子位报道其团队技术已经由思必驰用于量产车型、智能电视等产品。；认知型口语对话交互技术产业化：交大—思必驰独家许可、68项专利转让与车载“天琴”落地：据媒体报道（思必驰公司整体口径）：俞凯团队的认知型人机对话和语音识别技术，通过上海交大—思必驰联合实验室持续转化给思必驰：2015年独家许可，采用“共有产权+期权回报”的0持股模式；2020年又转让68项专利。技术现已大规模用于车载、家居和办公场景。
- 代表成果
- 认知型口语对话交互技术产业化：交大—思必驰独家许可、68项专利转让与车载“天琴”落地鲁棒语音信号模式分析与识别的深度结构化建模理论与方法（2020年度吴文俊人工智能自然科学奖一等奖）大模型智能体：设备/界面操控、记忆规划与工具调用可靠性（Mobile-Env、MobA、META-GUI、Rememberer、ToolHallucination）DFM 对话式语言大模型及 ChemDFM 领域大模型（与思必驰联合研发并产业化）语音驱动数字人与多语种说话人像生成（AniTalker、VQTalker、DAE-Talker）丰富音频与环境声感知（音频描述SLAM-AAC/DRCap、声音事件检测、在线VAD、空间音频理解BAT、DCASE冠军系统）声纹识别、说话人日志与视听多说话人感知（WeSpeaker、端侧低比特声纹、MSDWILD）高效/情感可控语音合成与低码率语音编解码技术链（VoiceFlow、UniCATS、vec2wav 2.0、EmoVoice、LSCodec、CodecSlime）emotion2vec 通用语音情感表征与 EmoBox 多语种语音情感识别基准流式关键词唤醒与噪声鲁棒语音前端（KWStreamingSearch开源实现TDT-KWS / CDC-KWS / MFA-KWS；另有NTC-KWS、关键词引导目标说话人提取等论文）SLAM-Omni 音色可控的端到端语音对话系统（开源）SLAM-LLM 语音/音频大模型框架与大模型语音识别（SLAM-ASR、上下文ASR、中英混说、语音理解）F5-TTS 零样本语音合成与声音克隆系统（开源）
- 联系人与方式
- 仅分院工作人员可见