语音驱动数字人与多语种说话人像生成（AniTalker、VQTalker、DAE-Talker）

AniTalker（ACM MM 2024）从单张静态肖像和一段音频生成说话视频：先用自监督学习和度量学习，并最小化身份编码器与运动编码器之间的互信息，把身份与运动解耦，得到涵盖细微表情和头部动作的通用运动表示，再用带方差适配器的扩散模型生成多样、可控的面部动画。VQTalker（AAAI 2025）用基于分组残差有限标量量化的面部运动 tokenizer 把面部运动离散化，支持多语种说话人像生成（512×512，约 11 kbps）。更早的 DAE-Talker（ACM MM 2023，与微软亚洲研究院合作）用扩散自编码器生成高保真说话人脸。2023 年 5 月 31 日，陈谐在湖南人文科技学院作“多语言同声传译和语音驱动的数字人”报告，演示了团队搭建的流式语音识别+机器翻译同传系统（输出越南语）和两阶段语音驱动数字人方案。AniTalker README 注明代码并非正式产品，未经全面测试，不可直接提供给终端客户，产业化需要二次工程。衡阳的导览、前台、展厅机器人整机厂可以把它和 F5-TTS、SLAM-Omni 组合，在机器人头部屏幕上做口型同步的多语种讲解形象。（来源：https://github.com/X-LANCE/AniTalker；https://arxiv.org/abs/2405.03121；https://github.com/X-LANCE/VQTalker；https://arxiv.org/abs/2412.09892；https://arxiv.org/abs/2303.17550；https://x-lance.sjtu.edu.cn/repositories；https://x-lance.sjtu.edu.cn/js/data.js；https://x-lance.sjtu.edu.cn/js/papers-data.js；https://www.huhst.edu.cn/info/1382/52686.htm）

AniTalker GitHub 1,599 星 / 144 fork；VQTalker GitHub 52 星（2026-09-13 实测）