GVCLab/PersonaLive
[CVPR 2026] PersonaLive! : Expressive Portrait Image Animation for Live Streaming
解決的問題
PersonaLive 是為即時串流的肖像動畫而設計。它允許使用單一人物參考影像，透過驅動影片進行動畫化，進而創造出適合直播應用的無限長肖像動畫。
工作原理
本專案使用整合多個元件的擴散框架，將驅動影片中的動作轉譯至參考影像。透過運動編碼器、姿態引導器與時間模組，確保動畫流暢且富有表現力。為達成即時性能，支援串流生成策略，並可透過 TensorRT 加速，使推論速度約提升一倍。
適用對象
此工具主要針對對肖像動畫、數位人與即時影片生成感興趣的學術研究人員與開發者。
主要亮點
- 即時串流：可低延遲生成無限長動畫。
- 硬體優化：支援 TensorRT 加速與 xFormers，提升記憶體效率。
- 顯存效率：內建串流策略，可在僅具備 12GB 顯存的 GPU 上生成長影片。
- 完整的訓練流程：提供三階段訓練工作流程（影像層級預熱、對抗性精煉、時間微調）。
- 整合支援：透過社群插件支援 ComfyUI。
相關
- 專案
Alibaba-Quark/LiveAvatarLive Avatar is a research‑grade system that turns spoken audio (plus an optional reference image or text prompt) into a continuous, real‑time video of a talking avatar. Built on a 14 B diffusion backbone (WanS2V‑14B) with a LoRA fine‑tune, the authors achieve ~45 FPS streaming on multi‑GPU H800 hardware and can generate videos longer than 10 000 seconds via block‑wise autoregressive processing. The repo provides Conda‑based installation, multi‑GPU and single‑GPU inference scripts, optional FP8 quantisation and JIT compilation for speed, and a Gradio UI. Model weights are hosted on Hugging Face under Apache 2.0.
- 專案
jdh-algo/JoyVASAJoyVASA 是一個基於 diffusion 的框架，利用音訊為人類與動物肖像製作動畫，將臉部身份與動作解耦，以實現高品質、長時段的影片生成。
- 專案
- 專案
- 專案