成果库
查看全部 →
认知型口语对话交互技术产业化：交大—思必驰独家许可、68项专利转让与车载“天琴”落地
据媒体报道（思必驰公司整体口径）：俞凯团队的认知型人机对话和语音识别技术，通过上海交大—思必驰联合实验室持续转化给思必驰：2015年独家许可，采用“共有产权+期权回报”的0持股模式；2020年又转让68项专利。技术现已大规模用于车载、家居和办公场景。
决策感知整机集成X-LANCE / 上海交通大学思必驰智能人机交互联合实验室 / 思必驰科技股份有限公司计算机学院TRL 9
语音驱动数字人与多语种说话人像生成（AniTalker、VQTalker、DAE-Talker）
AniTalker（ACM MM 2024）能从单张肖像和一段音频生成生动多样的说话人脸视频；VQTalker（AAAI 2025）通过面部运动token化支持多语种。可为带屏机器人提供有表情的拟人化交互界面。
整机集成X-LANCE（刘韬 Tao Liu、杜晨鹏 Chenpeng Du、陈琪 Qi Chen 等），陈谐、俞凯指导；AniTalker 与 VQTalker 的作者含思必驰（AISpeech Ltd）人员，README 免责声明以思必驰公司名义发布；DAE-Talker 与微软亚洲研究院合作计算机学院TRL 4
高效/情感可控语音合成与低码率语音编解码技术链（VoiceFlow、UniCATS、vec2wav 2.0、EmoVoice、LSCodec、CodecSlime）
一套围绕离散语音token和流匹配的语音生成技术，从少步高质量合成、语音编辑、情感可控合成，到单码本低码率、说话人解耦的语音编解码。
整机集成决策感知X-LANCE 俞凯、陈谐课题组（Yiwei Guo、Chenpeng Du、Hankun Wang、Guanrou Yang 等）计算机学院TRL 4
SLAM-Omni 音色可控的端到端语音对话系统（开源）
端到端的语音到语音对话模型：用语义token建模语音，把音色交给声码器处理，从而实现零样本音色控制和中英多轮对话，单阶段训练4卡15小时即可完成。配套有URO-Bench评测基准。
决策整机集成X-LANCE 陈谐、俞凯课题组（第一作者 Wenxi Chen），与微软合作计算机学院TRL 5
F5-TTS 零样本语音合成与声音克隆系统（开源）
X-LANCE陈谐课题组开源的非自回归零样本语音合成模型，基于流匹配和Diffusion Transformer，论文发表于ACL 2025。只需几秒参考音频就能克隆音色，支持中英混说和语速控制；GitHub超1.5万星，HuggingFace模型累计下载超1800万次。
整机集成决策X-LANCE 陈谐课题组（第一作者 Yushen Chen，俞凯参与）计算机学院TRL 6
实验室与平台
查看全部 →上海交通大学跨媒体语言智能实验室（X-LANCE）
X-LANCE成立于2012年，前身为智能语音实验室（SpeechLab），实验室主任为俞凯。研究方向是视听文跨模态的语言感知与认知，分五个方向：对话式语言计算与智能体（大语言模型、智能体、DFM对话大模型）、智能语音与音频基础模型（语音识别、语音合成、说话人建模、语音分离、自监督学习、音频理解）、多模态理解与跨媒体生成（数字人、音视频对齐）、AI for Science与可信行业应用、教育智能与…
决策感知整机集成课题组 / 实验室计算机学院俞凯
极限智造技术中心（溥渊未来技术学院）
该中心是溥渊未来技术学院的交叉研究中心之一，围绕新能源系统装备“AI+制造”的产业技术变革，探索以高效率、高可靠、高智能、低碳耗为“极智特征”的智能制造前沿技术。中心开展形性协同正向设计、高效极致智能制造、质量检测与智能运维等方面的研究，服务汽车、储能、光伏、核电、航空、船舶等行业。首席科学家为倪军讲席教授，官网列出的代表性工作为“9-sigma工程”。（来源：https://gift.sjtu.…
整机集成本体结构本地优势校级研究院 / 研究所溥渊未来技术学院金隼（中心主任）、李冕（执行主任）
上海交通大学智能网联电动汽车创新中心
中心于2018年1月获批成立，是上海交大推进“双一流”建设的校级跨学科交叉平台，2023年3月起挂靠溥渊未来技术学院发展，聚焦汽车“智能化、网联化、电动化、共享化”。团队来自溥渊未来技术学院、机械与动力工程学院、自动化与感知学院、计算机学院、电气工程学院、浦江国际学院、人工智能学院、船舶海洋与建筑工程学院等10多个学院，共30余位青年教师，其中国家级领军人才和青年人才10余位。中心官网称发表高水平…
决策感知电池电源校级研究院 / 研究所溥渊未来技术学院杨明
上海交通大学元知机器人研究院
研究院2021年9月在元知科技集团支持下成立，以上海交通大学名义设立。它联合机械、材料、计算机、数学、物理等学科开展智能机器人前沿研究，目标是建成全球知名的机器人创新高地。管理团队为院长朱向阳、副院长郑叶来和陈根良（陈根良2024年5月任职，原副院长为盛鑫军）。上海市智能机器人技术与装备重点实验室的批准建设、开放日、学术委员会会议等新闻都发布在研究院官网。（来源：https://mri.sjtu.…
本体结构灵巧手感知校级研究院 / 研究所其他朱向阳
机械系统与振动全国重点实验室
实验室前身是1988年立项筹建的振动、冲击、噪声国家重点实验室，2006年更名为机械系统与振动国家重点实验室，2022年12月重组获批为全国重点实验室。徐敏教授是主要创建人，现任主任为朱向阳教授；重组后第一届学术委员会主任为朱荻教授，咨询专家委员会主任为林忠钦教授。实验室主持过5项国家“973”计划项目，近20年以第一完成单位获国家科技成果奖12项。（来源：https://msv.sjtu.edu…
本体结构关节模组灵巧手全国重点实验室机械与动力工程学院朱向阳
上海交通大学机器人研究所
机器人研究所是机械与动力工程学院下设的研究所，列在学院科研机构页面的“科研机构”栏。据学院英文站2018年发布的研究所简介，研究所成立于1979年，面向机器人基础与应用研究，自称国内机器人研究前三的机构之一；当时在校内有约3000平方米实验场地，在智能制造研究院（临港）另有约5000平方米，有教授11人、副教授16人、助理教授3人。现任所长朱向阳教授，他同时担任机械系统与振动全国重点实验室主任、上…
本体结构关节模组灵巧手校级研究院 / 研究所机械与动力工程学院朱向阳
医疗机器人研究院
上海交通大学医疗机器人研究院是学校的校级多学科交叉研究平台，在学校院系设置中列入“研究院·应用基础研究”类。研究院由英国皇家工程院院士、Science Robotics 创刊主编杨广中教授担任创始人，面向肿瘤、心血管和神经退行性疾病等重大疾病的早期诊断和个性化治疗，研发以机器人和人工智能技术为核心的新一代医疗装备。研究院创立了上海市柔性医疗机器人重点实验室，主持申报并获批磁共振诊疗高端技术国家工程…
感知决策本体结构校级研究院 / 研究所其他杨广中
智能机器人与机器视觉实验室
智能机器人与机器视觉（IRMV）实验室隶属上海交通大学自动化与感知学院，旨在在具有挑战性的非结构化环境中通过视觉感知实现通用机器人自动化和机器智能。团队页列出教师9人、博士后9人、博士生53人、硕士生41人。负责人王贺升为上海交通大学唐君远讲席教授、国家杰出青年科学基金获得者，2026年8月获科学探索奖（先进制造领域），曾任 IEEE/RSJ IROS 2025 大会总主席（General Cha…
感知决策灵巧手课题组 / 实验室自动化与感知学院王贺升
上海交通大学自主机器人实验室
自主机器人实验室隶属于上海交通大学自动化与感知学院，致力于“在人类智能和机器智能之间架设一座互动的桥梁”，目标是研制与人类和谐相处的机器人助手。实验室科研人员有教授3人、研究员1人、长聘教轨副教授与助理教授3人，以及研发工程师、博士后、博士生和硕士生50余人；教师名录列陈卫东（教授、实验室主任）、卢俊国、王贺升、王景川、高安柱、马卓晨。实验室平台包括自行研制的交龙系列家庭服务机器人、仿人导游机器人…
感知决策本体结构课题组 / 实验室自动化与感知学院陈卫东
上海交通大学自动化与感知学院
自动化与感知学院是上海交通大学于2024年12月为深化大电类学科群改革，整合电子信息与电气工程学院自动化系与感知科学与工程学院资源而成立的学院，历史可追溯至南洋公学电机科电信门（自动化系前身为1962年成立的自动控制系，感知科学与工程学院成立于2021年）。学院拥有控制科学与工程、仪器科学与技术两个一级学科博士学位授权点，其中控制科学与工程入选国家“双一流”建设学科；开设自动化、智能感知工程两个本…
感知决策整机集成其他自动化与感知学院杨博
专家团队
查看全部 →申丽萍（Liping Shen）
申丽萍是上海交通大学计算机学院副教授，e-Learning实验室负责人，2020年加入X-LANCE。研究方向为智慧教育（AIED）、自适应学习技术、情感计算与学习数据分析。代表论文Affective eLearning（Educational Technology & Society, 2009）获2016年上海CCF普适计算与嵌入式分委员会最佳英文论文奖；被引次数X-LANCE页称500余次，…
决策整机集成副教授计算机学院
陈露（Lu Chen）
陈露是上海交通大学计算机学院副教授、博导，上海创智学院全时导师。研究方向为大语言模型基础技术、智能体（推理、记忆、工具调用可靠性），以及大模型在科学领域的交叉应用。她研发了DFM系列对话大模型（含ChemDFM化学材料大模型），官方简介称相关技术已在汽车智能座舱、智能家居、科研等领域大范围推广。另有授权专利30余项，其中10项实现转化，1项获第23届中国专利奖优秀奖。职称说明：X-LANCE官网写…
决策整机集成副教授计算机学院
陈谐（Xie Chen）
陈谐是上海交通大学计算机学院长聘教轨副教授、博导，入选国家级高层次人才计划。本科厦门大学、硕士清华大学、博士剑桥大学，曾在微软语音与语言研究组任高级/资深研究员，2021年加入X-LANCE。研究方向为音频基础模型：语音、声音、音乐的理解与生成，语音识别、合成与翻译，基于音频的自监督学习，智能体驱动的语音交互，以及音频驱动的数字人。代表性开源项目有F5-TTS零样本声音克隆、SLAM-LLM语音/…
感知决策整机集成副教授计算机学院
俞凯（Kai Yu）
俞凯是上海交通大学计算机学院特聘教授、博导，X-LANCE创始人。他是IEEE Fellow（2026届，因“口语语言技术的设计与应用”当选）、ISCA Fellow（2025），并入选国家“万人计划”科技创新领军人才、国家优青和上海“东方学者”。研究方向为对话式人工智能，涵盖三块：语音及音频信息处理（鲁棒语音识别、语音合成）、自然语言处理与对话智能体、多模态大语言模型与交互（含可控数字人、图形界…
感知决策整机集成教授计算机学院
上海交通大学跨媒体语言智能实验室（X-LANCE）
X-LANCE成立于2012年，前身为智能语音实验室（SpeechLab），实验室主任为俞凯。研究方向是视听文跨模态的语言感知与认知，分五个方向：对话式语言计算与智能体（大语言模型、智能体、DFM对话大模型）、智能语音与音频基础模型（语音识别、语音合成、说话人建模、语音分离、自监督学习、音频理解）、多模态理解与跨媒体生成（数字人、音视频对齐）、AI for Science与可信行业应用、教育智能与…
感知决策整机集成课题组计算机学院