KlingAIResearch/LivePortrait

解决的问题

LivePortrait 旨在创建高效、高质量的肖像动画。它允许用户使用驱动视频或图像为静态肖像图像（人类、猫或狗）制作动画，确保生成的动画既真实又可控。

工作原理

该系统使用肖像变形渲染器和关键点检测。它支持两种主要模式：人类模式和动物模式（利用 X-Pose 框架进行关键点检测）。用户可以提供源图像或视频以及驱动视频来转移动作。该项目还支持“动作模板”（.pkl 文件），以加快推理速度，并通过在最终渲染期间消除对驱动视频的需求来保护隐私。

适用对象

此工具适用于视频创作者、初创公司以及正在为社交媒体平台（如快手、抖音和微信视频号）构建应用程序的开发人员，或者对 AI 驱动的面部动画和肖像编辑感兴趣的人士。

亮点

• 多物种支持：适用于人类、猫和狗。
• 跨平台兼容性：支持 Linux、Windows 和 macOS (Apple Silicon)。
• 跨模态驱动：支持视频转视频 (v2v) 和图像驱动动画。
• 精确控制：通过 Gradio 界面提供区域控制和精确的肖像编辑。
• 高效性：在支持的系统上提供 torch.compile 选项，可将推理速度提高 20-30%。