F5-TTS 零样本语音合成与声音克隆系统（开源）
X-LANCE陈谐课题组开源的非自回归零样本语音合成模型，基于流匹配和Diffusion Transformer，论文发表于ACL 2025。只需几秒参考音频就能克隆音色，支持中英混说和语速控制；GitHub超1.5万星，HuggingFace模型累计下载超1800万次。
- 负责团队
- X-LANCE 陈谐课题组（第一作者 Yushen Chen，俞凯参与）
- 所属学院
- 计算机学院
- 技术成熟度
- TRL 6
- 合作方式
- 许可委托研发联合开发技术服务
- 技术详情
F5-TTS使用流匹配加Diffusion Transformer，文本侧用ConvNeXt V2建模，不需要时长模型、文本编码器和音素对齐；推理时用Sway Sampling策略加速，在约10万小时多语种公开数据上训练，论文已发表于ACL 2025。仓库提供pip包、Docker镜像、Gradio界面和Triton+TensorRT-LLM部署方案，权重已发布到HuggingFace、ModelScope、Wisemodel，2025年3月更新了v1基座。许可方面，代码是MIT协议，但预训练权重受Emilia训练数据限制为CC-BY-NC，商用需要用授权数据重新训练或另行与团队合作。衡阳的机器人整机厂和语音模组厂可以用它做机器人的品牌音色克隆、中英双语讲解和边缘GPU上的流式语音播报，这需要和团队签委托研发或许可协议。（来源：https://github.com/SWivid/F5-TTS；https://raw.githubusercontent.com/SWivid/F5-TTS/main/README.md；https://arxiv.org/abs/2410.06885；https://arxiv.org/html/2410.06885；https://huggingface.co/SWivid/F5-TTS；https://x-lance.sjtu.edu.cn/papers；https://x-lance.sjtu.edu.cn/js/members-data.js；https://hub.baai.ac.cn/view/40423）
- 关键指标
GitHub 15,223 星 / 2,213 fork（2026-09 GitHub API 查询）；训练数据约10万小时公开多语种数据；论文推理 RTF 0.15；HuggingFace 模型页近30天下载 924,782 次、累计下载 18,127,770 次（2026-09 HF API）；Triton+TensorRT-LLM 在单张 L20、并发2时平均延迟 253 ms、RTF 0.0394（16 NFE，26组样本）；论文 Semantic Scholar 被引 556 次
- 专利 / 软著
- 登录后可见 · 登录
- 联系人与方式
- 仅分院工作人员可见