上海交通大学主页校地产学研对接与资源平台试运行登录注册 / 入驻
湖南高等研究院衡阳分院
首页/成果与专家

成果库

交大教师可转化的技术、专利与软著

登录后提交
认知型口语对话交互技术产业化:交大—思必驰独家许可、68项专利转让与车载“天琴”落地
据媒体报道(思必驰公司整体口径):俞凯团队的认知型人机对话和语音识别技术,通过上海交大—思必驰联合实验室持续转化给思必驰:2015年独家许可,采用“共有产权+期权回报”的0持股模式;2020年又转让68项专利。技术现已大规模用于车载、家居和办公场景。
决策感知整机集成X-LANCE / 上海交通大学思必驰智能人机交互联合实验室 / 思必驰科技股份有限公司计算机学院TRL 9
鲁棒语音信号模式分析与识别的深度结构化建模理论与方法(2020年度吴文俊人工智能自然科学奖一等奖)
一套针对信道、环境、说话人三类干扰的深度结构化建模理论与方法。量子位报道称,这是语音领域的研究成果首次获吴文俊人工智能科学技术奖一等奖。获奖成果来自思必驰上海交大智能人机交互联合实验室的校企联合研究,量子位报道其团队技术已经由思必驰用于量产车型、智能电视等产品。
感知钱彦旻、俞凯、谭天、刘媛(上海交大计算机系 / 思必驰-上海交大智能人机交互联合实验室)计算机学院TRL 8
大模型智能体:设备/界面操控、记忆规划与工具调用可靠性(Mobile-Env、MobA、META-GUI、Rememberer、ToolHallucination)
陈露、俞凯团队的开源智能体工作,覆盖安卓GUI交互训练评测平台、记忆增强的手机任务自动化、多模态对话式GUI智能体、半参数强化学习智能体,以及降低工具调用幻觉的可靠性对齐。
决策X-LANCE 陈露、俞凯课题组 / OpenDFM(Danyang Zhang、Zichen Zhu、Hongshen Xu 等)计算机学院TRL 4
DFM 对话式语言大模型及 ChemDFM 领域大模型(与思必驰联合研发并产业化)
X-LANCE(陈露、俞凯)与思必驰协同研发 DFM 系列对话大模型:据陈露官方简介,相关技术已在智能手机、汽车智能座舱、科学研究等领域推广;思必驰 DFM-2 面向智能汽车、智能家居、消费电子(据媒体报道)。同一技术栈衍生出 130 亿参数的 ChemDFM 化学大模型,已开源。(TRL 8 指经思必驰商业化的 DFM-2;开源的 ChemDFM 为研究级。)
决策X-LANCE 陈露、俞凯课题组(大语言模型组),与思必驰(上海交大-思必驰智能人机交互联合实验室)、苏州实验室(DFM-2 报道中为姑苏实验室)合作计算机学院TRL 8
语音驱动数字人与多语种说话人像生成(AniTalker、VQTalker、DAE-Talker)
AniTalker(ACM MM 2024)能从单张肖像和一段音频生成生动多样的说话人脸视频;VQTalker(AAAI 2025)通过面部运动token化支持多语种。可为带屏机器人提供有表情的拟人化交互界面。
整机集成X-LANCE(刘韬 Tao Liu、杜晨鹏 Chenpeng Du、陈琪 Qi Chen 等),陈谐、俞凯指导;AniTalker 与 VQTalker 的作者含思必驰(AISpeech Ltd)人员,README 免责声明以思必驰公司名义发布;DAE-Talker 与微软亚洲研究院合作计算机学院TRL 4
声纹识别、说话人日志与视听多说话人感知(WeSpeaker、端侧低比特声纹、MSDWILD)
WeSpeaker是WeNet开源社区的声纹工具包,钱彦旻团队(原X-LANCE、现AudioCC Lab)参与共建。钱彦旻团队另有一系列轻量化声纹模型和视听语音分离/识别工作;俞凯团队(与钱彦旻合作)发布了MSDWILD多模态说话人日志数据集和BER评测指标。这些技术可用于机器人识别操作员身份、在多人场景中区分说话人。
感知钱彦旻团队(现AudioCC Lab;钱彦旻2013–2022年在X-LANCE;Hongji Wang、Bei Liu、Zhengyang Chen 等,负责WeSpeaker共建与轻量化声纹)+ 俞凯团队(Tao Liu 等,负责MSDWILD、BER)计算机学院TRL 5
高效/情感可控语音合成与低码率语音编解码技术链(VoiceFlow、UniCATS、vec2wav 2.0、EmoVoice、LSCodec、CodecSlime)
一套围绕离散语音token和流匹配的语音生成技术,从少步高质量合成、语音编辑、情感可控合成,到单码本低码率、说话人解耦的语音编解码。
整机集成决策感知X-LANCE 俞凯、陈谐课题组(Yiwei Guo、Chenpeng Du、Hankun Wang、Guanrou Yang 等)计算机学院TRL 4
emotion2vec 通用语音情感表征与 EmoBox 多语种语音情感识别基准
emotion2vec(ACL 2024)是通用语音情感自监督表征模型;EmoBox(Interspeech 2024)在此基础上构建了覆盖32个数据集、14种语言的语音情感识别基准,可供机器人感知用户情绪。
感知X-LANCE 陈谐课题组(第一作者 Ziyang Ma),与阿里巴巴、谢菲尔德大学等合作计算机学院TRL 5
F5-TTS 零样本语音合成与声音克隆系统(开源)
X-LANCE陈谐课题组开源的非自回归零样本语音合成模型,基于流匹配和Diffusion Transformer,论文发表于ACL 2025。只需几秒参考音频就能克隆音色,支持中英混说和语速控制;GitHub超1.5万星,HuggingFace模型累计下载超1800万次。
整机集成决策X-LANCE 陈谐课题组(第一作者 Yushen Chen,俞凯参与)计算机学院TRL 6