Soul-AILab/SoulX-FlashTalk
SoulX-FlashTalk is the first 14B model to achieve sub-second start-up latency (0.87s) while maintaining a real-time throughput of 32 FPS on an 8xH800 node.
解决的问题
SoulX-FlashTalk 实现了音视频驱动的虚拟人头像的实时无限流式传输。它解决了从音频输入生成高质量连续对话头像动画的挑战，确保在长时间运行中性能和质量不会下降。
工作原理
该项目采用一种名为「自校正双向蒸馏」的技术来实现其流式传输能力。它基于 InfiniteTalk 和 Wan 等基础模型，并融合了 DMD 和 Self-forcing++ 的蒸馏技术，以优化生成过程，实现实时性能。
适用人群
本工具专为从事数字人、虚拟化身和实时交互视频系统开发与研究的开发者和研究人员设计。
核心亮点
- 无限流式传输：能够生成连续的音视频驱动的头像动画。
- 实时性能：针对高速推理进行了优化，明确支持多GPU配置（如 8xH800）以实现最大速度。
- 大模型规模：采用 14B 参数模型，实现高保真输出。
- 灵活部署：支持单GPU推理并结合CPU卸载，显著降低显存（VRAM）需求。
相关
- 项目
- 项目
Alibaba-Quark/LiveAvatarLive Avatar 是一个研究级系统，可将语音音频（及可选参考图像或文本提示）转换为连续的实时视频头像。基于 140 亿参数扩散骨干（WanS2V-14B）并采用 LoRA 微调，作者在多 GPU H800 硬件上实现约 45 FPS 流式生成，并通过分块自回归处理生成超过 10,000 秒的视频。仓库提供 Conda 安装、多 GPU 与单 GPU 推理脚本、可选 FP8 量化与 JIT 编译加速，以及 Gradio UI。模型权重托管于 Hugging Face，采用 Apache 2.0 许可。
- 项目
- 项目
PunithVT/ai-avatar-systemAvatarAI是一个开源、生产就绪的系统，可将任意肖像照片和一段短语音样本转换为实时口型同步的会话式虚拟人。它将Whisper转录的语音流式传输至可选LLM（Claude、GPT-4o或本地Ollama/vLLM），将生成的文本输入多语言TTS（Chatterbox/XTTS），并通过MuseTalk V1.5渲染视频帧。该系统包含Next.js前端、FastAPI后端、PostgreSQL、Redis、Celery、Prometheus和Docker-Compose，支持一键式AWS GPU部署。功能包括零样本语音克隆、打断（Barge-in）中断、多LLM支持、JWT认证、对话记忆摘要，以及可选的GFPGAN人脸修复。
- 项目