成果库
查看全部 →
认知型口语对话交互技术产业化：交大—思必驰独家许可、68项专利转让与车载“天琴”落地
据媒体报道（思必驰公司整体口径）：俞凯团队的认知型人机对话和语音识别技术，通过上海交大—思必驰联合实验室持续转化给思必驰：2015年独家许可，采用“共有产权+期权回报”的0持股模式；2020年又转让68项专利。技术现已大规模用于车载、家居和办公场景。
决策感知整机集成X-LANCE / 上海交通大学思必驰智能人机交互联合实验室 / 思必驰科技股份有限公司计算机学院TRL 9
大模型智能体：设备/界面操控、记忆规划与工具调用可靠性（Mobile-Env、MobA、META-GUI、Rememberer、ToolHallucination）
陈露、俞凯团队的开源智能体工作，覆盖安卓GUI交互训练评测平台、记忆增强的手机任务自动化、多模态对话式GUI智能体、半参数强化学习智能体，以及降低工具调用幻觉的可靠性对齐。
决策X-LANCE 陈露、俞凯课题组 / OpenDFM（Danyang Zhang、Zichen Zhu、Hongshen Xu 等）计算机学院TRL 4
DFM 对话式语言大模型及 ChemDFM 领域大模型（与思必驰联合研发并产业化）
X-LANCE（陈露、俞凯）与思必驰协同研发 DFM 系列对话大模型：据陈露官方简介，相关技术已在智能手机、汽车智能座舱、科学研究等领域推广；思必驰 DFM-2 面向智能汽车、智能家居、消费电子（据媒体报道）。同一技术栈衍生出 130 亿参数的 ChemDFM 化学大模型，已开源。（TRL 8 指经思必驰商业化的 DFM-2；开源的 ChemDFM 为研究级。）
决策X-LANCE 陈露、俞凯课题组（大语言模型组），与思必驰（上海交大-思必驰智能人机交互联合实验室）、苏州实验室（DFM-2 报道中为姑苏实验室）合作计算机学院TRL 8
高效/情感可控语音合成与低码率语音编解码技术链（VoiceFlow、UniCATS、vec2wav 2.0、EmoVoice、LSCodec、CodecSlime）
一套围绕离散语音token和流匹配的语音生成技术，从少步高质量合成、语音编辑、情感可控合成，到单码本低码率、说话人解耦的语音编解码。
整机集成决策感知X-LANCE 俞凯、陈谐课题组（Yiwei Guo、Chenpeng Du、Hankun Wang、Guanrou Yang 等）计算机学院TRL 4
SLAM-Omni 音色可控的端到端语音对话系统（开源）
端到端的语音到语音对话模型：用语义token建模语音，把音色交给声码器处理，从而实现零样本音色控制和中英多轮对话，单阶段训练4卡15小时即可完成。配套有URO-Bench评测基准。
决策整机集成X-LANCE 陈谐、俞凯课题组（第一作者 Wenxi Chen），与微软合作计算机学院TRL 5
SLAM-LLM 语音/音频大模型框架与大模型语音识别（SLAM-ASR、上下文ASR、中英混说、语音理解）
X-LANCE开源的语音、语言、音频、音乐多模态大模型训练与推理框架，内含SLAM-ASR、MaLa-ASR等大模型语音识别方案，以及中英混说识别和语音大模型理解等配套技术。
感知决策X-LANCE 陈谐课题组（SLAM-LLM、SLAM-ASR、MaLa-ASR、CTC辅助上下文ASR；Ziyang Ma、Guanrou Yang 等）；俞凯课题组（大模型中英混说识别、TASU、MOSA、语音大模型理解综述；Jing Peng、Yu Xi 等）计算机学院TRL 5
F5-TTS 零样本语音合成与声音克隆系统（开源）
X-LANCE陈谐课题组开源的非自回归零样本语音合成模型，基于流匹配和Diffusion Transformer，论文发表于ACL 2025。只需几秒参考音频就能克隆音色，支持中英混说和语速控制；GitHub超1.5万星，HuggingFace模型累计下载超1800万次。
整机集成决策X-LANCE 陈谐课题组（第一作者 Yushen Chen，俞凯参与）计算机学院TRL 6
实验室与平台
查看全部 →上海交通大学跨媒体语言智能实验室（X-LANCE）
X-LANCE成立于2012年，前身为智能语音实验室（SpeechLab），实验室主任为俞凯。研究方向是视听文跨模态的语言感知与认知，分五个方向：对话式语言计算与智能体（大语言模型、智能体、DFM对话大模型）、智能语音与音频基础模型（语音识别、语音合成、说话人建模、语音分离、自监督学习、音频理解）、多模态理解与跨媒体生成（数字人、音视频对齐）、AI for Science与可信行业应用、教育智能与…
决策感知整机集成课题组 / 实验室计算机学院俞凯
上海交通大学智能网联电动汽车创新中心
中心于2018年1月获批成立，是上海交大推进“双一流”建设的校级跨学科交叉平台，2023年3月起挂靠溥渊未来技术学院发展，聚焦汽车“智能化、网联化、电动化、共享化”。团队来自溥渊未来技术学院、机械与动力工程学院、自动化与感知学院、计算机学院、电气工程学院、浦江国际学院、人工智能学院、船舶海洋与建筑工程学院等10多个学院，共30余位青年教师，其中国家级领军人才和青年人才10余位。中心官网称发表高水平…
决策感知电池电源校级研究院 / 研究所溥渊未来技术学院杨明
上海交通大学元知机器人研究院
研究院2021年9月在元知科技集团支持下成立，以上海交通大学名义设立。它联合机械、材料、计算机、数学、物理等学科开展智能机器人前沿研究，目标是建成全球知名的机器人创新高地。管理团队为院长朱向阳、副院长郑叶来和陈根良（陈根良2024年5月任职，原副院长为盛鑫军）。上海市智能机器人技术与装备重点实验室的批准建设、开放日、学术委员会会议等新闻都发布在研究院官网。（来源：https://mri.sjtu.…
本体结构灵巧手感知校级研究院 / 研究所其他朱向阳
上海交通大学机器人研究所
机器人研究所是机械与动力工程学院下设的研究所，列在学院科研机构页面的“科研机构”栏。据学院英文站2018年发布的研究所简介，研究所成立于1979年，面向机器人基础与应用研究，自称国内机器人研究前三的机构之一；当时在校内有约3000平方米实验场地，在智能制造研究院（临港）另有约5000平方米，有教授11人、副教授16人、助理教授3人。现任所长朱向阳教授，他同时担任机械系统与振动全国重点实验室主任、上…
本体结构关节模组灵巧手校级研究院 / 研究所机械与动力工程学院朱向阳
医疗机器人研究院
上海交通大学医疗机器人研究院是学校的校级多学科交叉研究平台，在学校院系设置中列入“研究院·应用基础研究”类。研究院由英国皇家工程院院士、Science Robotics 创刊主编杨广中教授担任创始人，面向肿瘤、心血管和神经退行性疾病等重大疾病的早期诊断和个性化治疗，研发以机器人和人工智能技术为核心的新一代医疗装备。研究院创立了上海市柔性医疗机器人重点实验室，主持申报并获批磁共振诊疗高端技术国家工程…
感知决策本体结构校级研究院 / 研究所其他杨广中
空间认知与机器人自主智能实验室（ScaleLab）
上海交通大学空间认知与机器人自主智能实验室（ScaleLab）隶属于上海交通大学人工智能研究院和教育部人工智能重点实验室，博士、硕士招生依托计算机学院计算机科学与技术系；实验室由杨小康教授指导建设，主要负责人是长聘教轨助理教授穆尧。实验室从事具身智能和机器人前沿研究，成果主要发表在RSS、CVPR、ICML、NeurIPS等会议，代表作有幻影RoboTwin仿真平台。实验室还发起了具身智能社区De…
决策灵巧手本体结构课题组 / 实验室其他穆尧
机器视觉与智能组（MVIG）
MVIG（Machine Vision and Intelligence Group）是上海交通大学人工智能学院卢策吾教授领导的研究组，研究方向为通用机器人（具身智能）与计算机视觉，提出以大规模人类行为视频驱动机器人学习通用行为的技术路线。卢策吾现任人工智能学院副院长（兼职），为长江学者特聘教授，获2023年科学探索奖（具身智能方向唯一获奖者），并以第一完成人获吴文俊人工智能自然科学一等奖。他以第…
感知决策灵巧手课题组 / 实验室人工智能学院卢策吾
智能机器人与机器视觉实验室
智能机器人与机器视觉（IRMV）实验室隶属上海交通大学自动化与感知学院，旨在在具有挑战性的非结构化环境中通过视觉感知实现通用机器人自动化和机器智能。团队页列出教师9人、博士后9人、博士生53人、硕士生41人。负责人王贺升为上海交通大学唐君远讲席教授、国家杰出青年科学基金获得者，2026年8月获科学探索奖（先进制造领域），曾任 IEEE/RSJ IROS 2025 大会总主席（General Cha…
感知决策灵巧手课题组 / 实验室自动化与感知学院王贺升
上海交通大学自主机器人实验室
自主机器人实验室隶属于上海交通大学自动化与感知学院，致力于“在人类智能和机器智能之间架设一座互动的桥梁”，目标是研制与人类和谐相处的机器人助手。实验室科研人员有教授3人、研究员1人、长聘教轨副教授与助理教授3人，以及研发工程师、博士后、博士生和硕士生50余人；教师名录列陈卫东（教授、实验室主任）、卢俊国、王贺升、王景川、高安柱、马卓晨。实验室平台包括自行研制的交龙系列家庭服务机器人、仿人导游机器人…
感知决策本体结构课题组 / 实验室自动化与感知学院陈卫东
上海交通大学自动化与感知学院
自动化与感知学院是上海交通大学于2024年12月为深化大电类学科群改革，整合电子信息与电气工程学院自动化系与感知科学与工程学院资源而成立的学院，历史可追溯至南洋公学电机科电信门（自动化系前身为1962年成立的自动控制系，感知科学与工程学院成立于2021年）。学院拥有控制科学与工程、仪器科学与技术两个一级学科博士学位授权点，其中控制科学与工程入选国家“双一流”建设学科；开设自动化、智能感知工程两个本…
感知决策整机集成其他自动化与感知学院杨博
专家团队
查看全部 →吴小宝（Xiaobao Wu）
吴小宝是上海交通大学计算机学院助理教授、博导，2026年1月加入，是X-LANCE教师。博士毕业于新加坡南洋理工大学，硕士清华大学、本科东南大学，曾任UCSB访问学者和NTU博士后。研究方向为人工智能、自然语言处理与大语言模型，代表工作有神经主题模型FASTopic（NeurIPS 2024）、大模型知识编辑评测AKEW（EMNLP 2024）、防数据污染基准AntiLeakBench（ACL 2…
决策助理教授计算机学院
申丽萍（Liping Shen）
申丽萍是上海交通大学计算机学院副教授，e-Learning实验室负责人，2020年加入X-LANCE。研究方向为智慧教育（AIED）、自适应学习技术、情感计算与学习数据分析。代表论文Affective eLearning（Educational Technology & Society, 2009）获2016年上海CCF普适计算与嵌入式分委员会最佳英文论文奖；被引次数X-LANCE页称500余次，…
决策整机集成副教授计算机学院
陈露（Lu Chen）
陈露是上海交通大学计算机学院副教授、博导，上海创智学院全时导师。研究方向为大语言模型基础技术、智能体（推理、记忆、工具调用可靠性），以及大模型在科学领域的交叉应用。她研发了DFM系列对话大模型（含ChemDFM化学材料大模型），官方简介称相关技术已在汽车智能座舱、智能家居、科研等领域大范围推广。另有授权专利30余项，其中10项实现转化，1项获第23届中国专利奖优秀奖。职称说明：X-LANCE官网写…
决策整机集成副教授计算机学院
吴梦玥（Mengyue Wu）
吴梦玥是上海交通大学计算机学院副教授（CS学院名录职称为“副研究员”，正文写“副研究员/副教授”）、博导，北京师范大学学士、墨尔本大学博士，上海市浦江人才，中国计算机学会语音对话及听觉专委会（执行）委员，2017年加入X-LANCE。研究方向包括丰富音频感知（声音事件检测、音频描述与检索、音频生成）、面向医疗的病理语音分析，以及数字心理健康方向的对话与大模型。她率先提出音频-文本摘要（音频描述）任…
感知决策副教授计算机学院
陈谐（Xie Chen）
陈谐是上海交通大学计算机学院长聘教轨副教授、博导，入选国家级高层次人才计划。本科厦门大学、硕士清华大学、博士剑桥大学，曾在微软语音与语言研究组任高级/资深研究员，2021年加入X-LANCE。研究方向为音频基础模型：语音、声音、音乐的理解与生成，语音识别、合成与翻译，基于音频的自监督学习，智能体驱动的语音交互，以及音频驱动的数字人。代表性开源项目有F5-TTS零样本声音克隆、SLAM-LLM语音/…
感知决策整机集成副教授计算机学院
钱彦旻（Yanmin Qian）
钱彦旻是上海交通大学计算机学院教授（AudioCC官网：2022年起任Full Professor；计算机学院教师名录仍标注为“特聘研究员”，所在研究所为计算机应用研究所），教育部长江学者特聘教授、国家自然科学基金优秀青年科学基金获得者。他作为第一完成人获得2020年度吴文俊人工智能自然科学奖一等奖（项目“鲁棒语音信号模式分析与识别的深度结构化建模理论与方法”，完成人含俞凯），并是开源语音识别工具…
感知决策教授计算机学院
俞凯（Kai Yu）
俞凯是上海交通大学计算机学院特聘教授、博导，X-LANCE创始人。他是IEEE Fellow（2026届，因“口语语言技术的设计与应用”当选）、ISCA Fellow（2025），并入选国家“万人计划”科技创新领军人才、国家优青和上海“东方学者”。研究方向为对话式人工智能，涵盖三块：语音及音频信息处理（鲁棒语音识别、语音合成）、自然语言处理与对话智能体、多模态大语言模型与交互（含可控数字人、图形界…
感知决策整机集成教授计算机学院
上海交通大学跨媒体语言智能实验室（X-LANCE）
X-LANCE成立于2012年，前身为智能语音实验室（SpeechLab），实验室主任为俞凯。研究方向是视听文跨模态的语言感知与认知，分五个方向：对话式语言计算与智能体（大语言模型、智能体、DFM对话大模型）、智能语音与音频基础模型（语音识别、语音合成、说话人建模、语音分离、自监督学习、音频理解）、多模态理解与跨媒体生成（数字人、音视频对齐）、AI for Science与可信行业应用、教育智能与…
感知决策整机集成课题组计算机学院