GVCLab/PersonaLive
[CVPR 2026] PersonaLive! : Expressive Portrait Image Animation for Live Streaming
解决的问题
PersonaLive 专为实时流式传输的肖像动画设计。它允许使用单张人物参考图像和驱动视频进行动画生成，从而创建适用于直播应用的无限长度肖像动画。
工作原理
该项目采用一种整合了多个组件的扩散框架，将驱动视频中的动作迁移到参考图像上。它使用运动编码器、姿态引导器和时间模块，以确保动画流畅且富有表现力。为实现实时性能，支持流式生成策略，并可通过 TensorRT 加速，使推理速度大致翻倍。
适用人群
该工具主要面向对肖像动画、数字人和实时视频生成感兴趣的学术研究人员和开发者。
主要亮点
- 实时流式传输：能够以低延迟生成无限长度的动画。
- 硬件优化：支持 TensorRT 加速和 xFormers，提升内存效率。
- 显存效率：包含流式策略，可在仅 12GB 显存的 GPU 上生成长视频。
- 完整的训练流程：提供三阶段训练工作流（图像级预热、对抗性精炼、时间微调）。
- 集成支持：通过社区插件支持 ComfyUI。
相关
- 项目
- 项目
- 项目
- 项目
- 项目