上海交通大学主页校地产学研对接与资源平台试运行登录注册 / 入驻
湖南高等研究院衡阳分院
首页/成果与专家

成果库

交大教师可转化的技术、专利与软著

登录后提交
共 13 条切换为表格
认知型口语对话交互技术产业化:交大—思必驰独家许可、68项专利转让与车载“天琴”落地
据媒体报道(思必驰公司整体口径):俞凯团队的认知型人机对话和语音识别技术,通过上海交大—思必驰联合实验室持续转化给思必驰:2015年独家许可,采用“共有产权+期权回报”的0持股模式;2020年又转让68项专利。技术现已大规模用于车载、家居和办公场景。
决策感知整机集成X-LANCE / 上海交通大学思必驰智能人机交互联合实验室 / 思必驰科技股份有限公司计算机学院TRL 9
鲁棒语音信号模式分析与识别的深度结构化建模理论与方法(2020年度吴文俊人工智能自然科学奖一等奖)
一套针对信道、环境、说话人三类干扰的深度结构化建模理论与方法。量子位报道称,这是语音领域的研究成果首次获吴文俊人工智能科学技术奖一等奖。获奖成果来自思必驰上海交大智能人机交互联合实验室的校企联合研究,量子位报道其团队技术已经由思必驰用于量产车型、智能电视等产品。
感知钱彦旻、俞凯、谭天、刘媛(上海交大计算机系 / 思必驰-上海交大智能人机交互联合实验室)计算机学院TRL 8
大模型智能体:设备/界面操控、记忆规划与工具调用可靠性(Mobile-Env、MobA、META-GUI、Rememberer、ToolHallucination)
陈露、俞凯团队的开源智能体工作,覆盖安卓GUI交互训练评测平台、记忆增强的手机任务自动化、多模态对话式GUI智能体、半参数强化学习智能体,以及降低工具调用幻觉的可靠性对齐。
决策X-LANCE 陈露、俞凯课题组 / OpenDFM(Danyang Zhang、Zichen Zhu、Hongshen Xu 等)计算机学院TRL 4
DFM 对话式语言大模型及 ChemDFM 领域大模型(与思必驰联合研发并产业化)
X-LANCE(陈露、俞凯)与思必驰协同研发 DFM 系列对话大模型:据陈露官方简介,相关技术已在智能手机、汽车智能座舱、科学研究等领域推广;思必驰 DFM-2 面向智能汽车、智能家居、消费电子(据媒体报道)。同一技术栈衍生出 130 亿参数的 ChemDFM 化学大模型,已开源。(TRL 8 指经思必驰商业化的 DFM-2;开源的 ChemDFM 为研究级。)
决策X-LANCE 陈露、俞凯课题组(大语言模型组),与思必驰(上海交大-思必驰智能人机交互联合实验室)、苏州实验室(DFM-2 报道中为姑苏实验室)合作计算机学院TRL 8
语音驱动数字人与多语种说话人像生成(AniTalker、VQTalker、DAE-Talker)
AniTalker(ACM MM 2024)能从单张肖像和一段音频生成生动多样的说话人脸视频;VQTalker(AAAI 2025)通过面部运动token化支持多语种。可为带屏机器人提供有表情的拟人化交互界面。
整机集成X-LANCE(刘韬 Tao Liu、杜晨鹏 Chenpeng Du、陈琪 Qi Chen 等),陈谐、俞凯指导;AniTalker 与 VQTalker 的作者含思必驰(AISpeech Ltd)人员,README 免责声明以思必驰公司名义发布;DAE-Talker 与微软亚洲研究院合作计算机学院TRL 4
丰富音频与环境声感知(音频描述SLAM-AAC/DRCap、声音事件检测、在线VAD、空间音频理解BAT、DCASE冠军系统)
吴梦玥组率先提出音频描述(Audio Caption)任务(据 X-LANCE 官方简介),并长期做弱监督声音事件检测和文本-音频对齐;陈谐组在 SLAM-LLM 中开源了大模型音频描述(SLAM-AAC)和零样本音频描述(DRCap),并与 UT Austin 合作提出空间音频推理模型 BAT;交大团队获 DCASE 2022、2024 多项冠军。这些能力对应“让机器人听懂环境”。
感知X-LANCE 吴梦玥课题组(音频描述/声音事件检测/DCASE 2022)、陈谐课题组(SLAM-AAC、DRCap、BAT,DCASE 2024 音频描述季军);DCASE 2024 两项冠军由上海交大钱彦旻(现任听觉认知与计算声学实验室 AudioCC Lab 负责人,X-LANCE 官网列为校友)与陈谐等联合清华大学、华北电力大学、华控智加获得计算机学院TRL 4
声纹识别、说话人日志与视听多说话人感知(WeSpeaker、端侧低比特声纹、MSDWILD)
WeSpeaker是WeNet开源社区的声纹工具包,钱彦旻团队(原X-LANCE、现AudioCC Lab)参与共建。钱彦旻团队另有一系列轻量化声纹模型和视听语音分离/识别工作;俞凯团队(与钱彦旻合作)发布了MSDWILD多模态说话人日志数据集和BER评测指标。这些技术可用于机器人识别操作员身份、在多人场景中区分说话人。
感知钱彦旻团队(现AudioCC Lab;钱彦旻2013–2022年在X-LANCE;Hongji Wang、Bei Liu、Zhengyang Chen 等,负责WeSpeaker共建与轻量化声纹)+ 俞凯团队(Tao Liu 等,负责MSDWILD、BER)计算机学院TRL 5
高效/情感可控语音合成与低码率语音编解码技术链(VoiceFlow、UniCATS、vec2wav 2.0、EmoVoice、LSCodec、CodecSlime)
一套围绕离散语音token和流匹配的语音生成技术,从少步高质量合成、语音编辑、情感可控合成,到单码本低码率、说话人解耦的语音编解码。
整机集成决策感知X-LANCE 俞凯、陈谐课题组(Yiwei Guo、Chenpeng Du、Hankun Wang、Guanrou Yang 等)计算机学院TRL 4
emotion2vec 通用语音情感表征与 EmoBox 多语种语音情感识别基准
emotion2vec(ACL 2024)是通用语音情感自监督表征模型;EmoBox(Interspeech 2024)在此基础上构建了覆盖32个数据集、14种语言的语音情感识别基准,可供机器人感知用户情绪。
感知X-LANCE 陈谐课题组(第一作者 Ziyang Ma),与阿里巴巴、谢菲尔德大学等合作计算机学院TRL 5
流式关键词唤醒与噪声鲁棒语音前端(KWStreamingSearch开源实现TDT-KWS / CDC-KWS / MFA-KWS;另有NTC-KWS、关键词引导目标说话人提取等论文)
俞凯团队面向资源受限的边缘设备开发的流式关键词检测(唤醒)算法,同时覆盖Transducer和CTC两条技术路线;配套端侧多通道语音增强和关键词引导的目标说话人提取。
感知X-LANCE 俞凯课题组(Yu Xi、Haoyu Li、Xiaoyu Gu 等)计算机学院TRL 5
SLAM-Omni 音色可控的端到端语音对话系统(开源)
端到端的语音到语音对话模型:用语义token建模语音,把音色交给声码器处理,从而实现零样本音色控制和中英多轮对话,单阶段训练4卡15小时即可完成。配套有URO-Bench评测基准。
决策整机集成X-LANCE 陈谐、俞凯课题组(第一作者 Wenxi Chen),与微软合作计算机学院TRL 5
SLAM-LLM 语音/音频大模型框架与大模型语音识别(SLAM-ASR、上下文ASR、中英混说、语音理解)
X-LANCE开源的语音、语言、音频、音乐多模态大模型训练与推理框架,内含SLAM-ASR、MaLa-ASR等大模型语音识别方案,以及中英混说识别和语音大模型理解等配套技术。
感知决策X-LANCE 陈谐课题组(SLAM-LLM、SLAM-ASR、MaLa-ASR、CTC辅助上下文ASR;Ziyang Ma、Guanrou Yang 等);俞凯课题组(大模型中英混说识别、TASU、MOSA、语音大模型理解综述;Jing Peng、Yu Xi 等)计算机学院TRL 5
F5-TTS 零样本语音合成与声音克隆系统(开源)
X-LANCE陈谐课题组开源的非自回归零样本语音合成模型,基于流匹配和Diffusion Transformer,论文发表于ACL 2025。只需几秒参考音频就能克隆音色,支持中英混说和语速控制;GitHub超1.5万星,HuggingFace模型累计下载超1800万次。
整机集成决策X-LANCE 陈谐课题组(第一作者 Yushen Chen,俞凯参与)计算机学院TRL 6