GVCLab/PersonaLive
[CVPR 2026] PersonaLive! : Expressive Portrait Image Animation for Live Streaming
解决的问题
PersonaLive 专为实时流式传输的肖像动画设计。它允许使用单张人物参考图像和驱动视频进行动画生成，从而创建适用于直播应用的无限长度肖像动画。
工作原理
该项目采用一种整合了多个组件的扩散框架，将驱动视频中的动作迁移到参考图像上。它使用运动编码器、姿态引导器和时间模块，以确保动画流畅且富有表现力。为实现实时性能，支持流式生成策略，并可通过 TensorRT 加速，使推理速度大致翻倍。
适用人群
该工具主要面向对肖像动画、数字人和实时视频生成感兴趣的学术研究人员和开发者。
主要亮点
- 实时流式传输：能够以低延迟生成无限长度的动画。
- 硬件优化：支持 TensorRT 加速和 xFormers，提升内存效率。
- 显存效率：包含流式策略，可在仅 12GB 显存的 GPU 上生成长视频。
- 完整的训练流程：提供三阶段训练工作流（图像级预热、对抗性精炼、时间微调）。
- 集成支持：通过社区插件支持 ComfyUI。
相关
- 项目
Alibaba-Quark/LiveAvatarLive Avatar is a research‑grade system that turns spoken audio (plus an optional reference image or text prompt) into a continuous, real‑time video of a talking avatar. Built on a 14 B diffusion backbone (WanS2V‑14B) with a LoRA fine‑tune, the authors achieve ~45 FPS streaming on multi‑GPU H800 hardware and can generate videos longer than 10 000 seconds via block‑wise autoregressive processing. The repo provides Conda‑based installation, multi‑GPU and single‑GPU inference scripts, optional FP8 quantisation and JIT compilation for speed, and a Gradio UI. Model weights are hosted on Hugging Face under Apache 2.0.
- 项目
jdh-algo/JoyVASAJoyVASA 是一个基于 diffusion 的框架，利用音频为人类和动物肖像制作动画，将面部身份与动作解耦，以实现高质量、长时段的视频生成。
- 项目
- 项目
- 项目