上海交通大学主页校地产学研对接与资源平台试运行登录注册 / 入驻
湖南高等研究院衡阳分院
首页/成果与专家

成果库

交大教师可转化的技术、专利与软著

登录后提交
认知型口语对话交互技术产业化:交大—思必驰独家许可、68项专利转让与车载“天琴”落地
据媒体报道(思必驰公司整体口径):俞凯团队的认知型人机对话和语音识别技术,通过上海交大—思必驰联合实验室持续转化给思必驰:2015年独家许可,采用“共有产权+期权回报”的0持股模式;2020年又转让68项专利。技术现已大规模用于车载、家居和办公场景。
决策感知整机集成X-LANCE / 上海交通大学思必驰智能人机交互联合实验室 / 思必驰科技股份有限公司计算机学院TRL 9
鲁棒语音信号模式分析与识别的深度结构化建模理论与方法(2020年度吴文俊人工智能自然科学奖一等奖)
一套针对信道、环境、说话人三类干扰的深度结构化建模理论与方法。量子位报道称,这是语音领域的研究成果首次获吴文俊人工智能科学技术奖一等奖。获奖成果来自思必驰上海交大智能人机交互联合实验室的校企联合研究,量子位报道其团队技术已经由思必驰用于量产车型、智能电视等产品。
感知钱彦旻、俞凯、谭天、刘媛(上海交大计算机系 / 思必驰-上海交大智能人机交互联合实验室)计算机学院TRL 8
丰富音频与环境声感知(音频描述SLAM-AAC/DRCap、声音事件检测、在线VAD、空间音频理解BAT、DCASE冠军系统)
吴梦玥组率先提出音频描述(Audio Caption)任务(据 X-LANCE 官方简介),并长期做弱监督声音事件检测和文本-音频对齐;陈谐组在 SLAM-LLM 中开源了大模型音频描述(SLAM-AAC)和零样本音频描述(DRCap),并与 UT Austin 合作提出空间音频推理模型 BAT;交大团队获 DCASE 2022、2024 多项冠军。这些能力对应“让机器人听懂环境”。
感知X-LANCE 吴梦玥课题组(音频描述/声音事件检测/DCASE 2022)、陈谐课题组(SLAM-AAC、DRCap、BAT,DCASE 2024 音频描述季军);DCASE 2024 两项冠军由上海交大钱彦旻(现任听觉认知与计算声学实验室 AudioCC Lab 负责人,X-LANCE 官网列为校友)与陈谐等联合清华大学、华北电力大学、华控智加获得计算机学院TRL 4
声纹识别、说话人日志与视听多说话人感知(WeSpeaker、端侧低比特声纹、MSDWILD)
WeSpeaker是WeNet开源社区的声纹工具包,钱彦旻团队(原X-LANCE、现AudioCC Lab)参与共建。钱彦旻团队另有一系列轻量化声纹模型和视听语音分离/识别工作;俞凯团队(与钱彦旻合作)发布了MSDWILD多模态说话人日志数据集和BER评测指标。这些技术可用于机器人识别操作员身份、在多人场景中区分说话人。
感知钱彦旻团队(现AudioCC Lab;钱彦旻2013–2022年在X-LANCE;Hongji Wang、Bei Liu、Zhengyang Chen 等,负责WeSpeaker共建与轻量化声纹)+ 俞凯团队(Tao Liu 等,负责MSDWILD、BER)计算机学院TRL 5
高效/情感可控语音合成与低码率语音编解码技术链(VoiceFlow、UniCATS、vec2wav 2.0、EmoVoice、LSCodec、CodecSlime)
一套围绕离散语音token和流匹配的语音生成技术,从少步高质量合成、语音编辑、情感可控合成,到单码本低码率、说话人解耦的语音编解码。
整机集成决策感知X-LANCE 俞凯、陈谐课题组(Yiwei Guo、Chenpeng Du、Hankun Wang、Guanrou Yang 等)计算机学院TRL 4
emotion2vec 通用语音情感表征与 EmoBox 多语种语音情感识别基准
emotion2vec(ACL 2024)是通用语音情感自监督表征模型;EmoBox(Interspeech 2024)在此基础上构建了覆盖32个数据集、14种语言的语音情感识别基准,可供机器人感知用户情绪。
感知X-LANCE 陈谐课题组(第一作者 Ziyang Ma),与阿里巴巴、谢菲尔德大学等合作计算机学院TRL 5
流式关键词唤醒与噪声鲁棒语音前端(KWStreamingSearch开源实现TDT-KWS / CDC-KWS / MFA-KWS;另有NTC-KWS、关键词引导目标说话人提取等论文)
俞凯团队面向资源受限的边缘设备开发的流式关键词检测(唤醒)算法,同时覆盖Transducer和CTC两条技术路线;配套端侧多通道语音增强和关键词引导的目标说话人提取。
感知X-LANCE 俞凯课题组(Yu Xi、Haoyu Li、Xiaoyu Gu 等)计算机学院TRL 5
SLAM-LLM 语音/音频大模型框架与大模型语音识别(SLAM-ASR、上下文ASR、中英混说、语音理解)
X-LANCE开源的语音、语言、音频、音乐多模态大模型训练与推理框架,内含SLAM-ASR、MaLa-ASR等大模型语音识别方案,以及中英混说识别和语音大模型理解等配套技术。
感知决策X-LANCE 陈谐课题组(SLAM-LLM、SLAM-ASR、MaLa-ASR、CTC辅助上下文ASR;Ziyang Ma、Guanrou Yang 等);俞凯课题组(大模型中英混说识别、TASU、MOSA、语音大模型理解综述;Jing Peng、Yu Xi 等)计算机学院TRL 5