认知型口语对话交互技术产业化:交大—思必驰独家许可、68项专利转让与车载“天琴”落地
据媒体报道(思必驰公司整体口径):俞凯团队的认知型人机对话和语音识别技术,通过上海交大—思必驰联合实验室持续转化给思必驰:2015年独家许可,采用“共有产权+期权回报”的0持股模式;2020年又转让68项专利。技术现已大规模用于车载、家居和办公场景。
决策感知整机集成X-LANCE / 上海交通大学思必驰智能人机交互联合实验室 / 思必驰科技股份有限公司计算机学院TRL 9
鲁棒语音信号模式分析与识别的深度结构化建模理论与方法(2020年度吴文俊人工智能自然科学奖一等奖)
一套针对信道、环境、说话人三类干扰的深度结构化建模理论与方法。量子位报道称,这是语音领域的研究成果首次获吴文俊人工智能科学技术奖一等奖。获奖成果来自思必驰上海交大智能人机交互联合实验室的校企联合研究,量子位报道其团队技术已经由思必驰用于量产车型、智能电视等产品。
感知钱彦旻、俞凯、谭天、刘媛(上海交大计算机系 / 思必驰-上海交大智能人机交互联合实验室)计算机学院TRL 8
声纹识别、说话人日志与视听多说话人感知(WeSpeaker、端侧低比特声纹、MSDWILD)
WeSpeaker是WeNet开源社区的声纹工具包,钱彦旻团队(原X-LANCE、现AudioCC Lab)参与共建。钱彦旻团队另有一系列轻量化声纹模型和视听语音分离/识别工作;俞凯团队(与钱彦旻合作)发布了MSDWILD多模态说话人日志数据集和BER评测指标。这些技术可用于机器人识别操作员身份、在多人场景中区分说话人。
感知钱彦旻团队(现AudioCC Lab;钱彦旻2013–2022年在X-LANCE;Hongji Wang、Bei Liu、Zhengyang Chen 等,负责WeSpeaker共建与轻量化声纹)+ 俞凯团队(Tao Liu 等,负责MSDWILD、BER)计算机学院TRL 5
高效/情感可控语音合成与低码率语音编解码技术链(VoiceFlow、UniCATS、vec2wav 2.0、EmoVoice、LSCodec、CodecSlime)
一套围绕离散语音token和流匹配的语音生成技术,从少步高质量合成、语音编辑、情感可控合成,到单码本低码率、说话人解耦的语音编解码。
整机集成决策感知X-LANCE 俞凯、陈谐课题组(Yiwei Guo、Chenpeng Du、Hankun Wang、Guanrou Yang 等)计算机学院TRL 4
emotion2vec 通用语音情感表征与 EmoBox 多语种语音情感识别基准
emotion2vec(ACL 2024)是通用语音情感自监督表征模型;EmoBox(Interspeech 2024)在此基础上构建了覆盖32个数据集、14种语言的语音情感识别基准,可供机器人感知用户情绪。
感知X-LANCE 陈谐课题组(第一作者 Ziyang Ma),与阿里巴巴、谢菲尔德大学等合作计算机学院TRL 5
