SLAM-LLM 语音/音频大模型框架与大模型语音识别（SLAM-ASR、上下文ASR、中英混说、语音理解）

SLAM-LLM（MIT协议）支持DDP/FSDP/DeepSpeed多卡训练，2025年4月起新增面向10万小时级数据的大规模工业训练配方，覆盖语音识别、上下文识别、视觉语音识别、语音翻译、TTS、语音情感描述、音频描述、音乐描述和语音对话（SLAM-Omni）等任务，框架论文已被IEEE JSTSP（2026）接收。SLAM-ASR只训练一个线性投影层，把现成的语音编码器接到大语言模型上，在LibriSpeech上取得同期基于LLM的ASR系统中的最佳成绩；它的arXiv版标题为“An Embarrassingly Simple Approach for LLM with Strong ASR Capacity”，AAAI 2025正式版标题为“Speech Recognition Meets Large Language Model: Benchmarking, Models, and Exploration”。陈谐课题组的MaLa-ASR（Interspeech 2024）和CTC辅助的上下文ASR（SLT 2024）把幻灯片关键词、热词等上下文信息注入大模型。俞凯课题组另有相关的语音大模型工作：大模型过滤的半监督中英混说识别（SLT 2024）、TASU与MOSA（均为ICASSP 2026），以及发表于IEEE JSTSP 2026（第20卷第1期）的语音大模型理解综述。衡阳的机器人整机厂和语音模组厂可以用自有数据（设备名、工位号、方言、中英夹杂指令）微调出机器人专用的听觉识别前端。（来源：https://github.com/X-LANCE/SLAM-LLM；https://github.com/X-LANCE/SLAM-LLM/blob/main/examples/asr_librispeech/README.md；https://arxiv.org/abs/2402.08846；https://arxiv.org/abs/2406.05839；https://x-lance.sjtu.edu.cn/repositories；https://x-lance.sjtu.edu.cn/papers；https://x-lance.sjtu.edu.cn/js/papers-data.js；https://x-lance.sjtu.edu.cn/js/data.js；https://x-lance.sjtu.edu.cn/~kaiyu/index_zh.html）

SLAM-LLM GitHub 1,059 星 / 118 fork（2026-09-13 实测）；SLAM-ASR在LibriSpeech上WER：HuBERT-XL+Vicuna-7B为test-clean 1.84 / test-other 3.39；MaLa-ASR在SlideSpeech L95/S95子集WER为9.4% / 11.7%，相对基线降低27.9% / 44.7%