KlingAIResearch/LivePortrait

解決的問題

LivePortrait 旨在創建高效、高品質的肖像動畫。它允許使用者使用驅動影片或圖像為靜態肖像圖像（人類、貓或狗）製作動畫，確保生成的動畫既真實又可控。

工作原理

該系統使用肖像變形渲染器與關鍵點檢測。它支援兩種主要模式：人類模式與動物模式（利用 X-Pose 框架進行關鍵點檢測）。使用者可以提供來源圖像或影片以及驅動影片來轉換動作。該專案還支援「動作模板」（.pkl 檔案），以加快推論速度，並透過在最終渲染期間消除對驅動影片的需求來保護隱私。

適用對象

此工具適用於影片創作者、初創公司以及正在為社群媒體平台（如快手、抖音和微信視頻號）構建應用程式的開發人員，或者對 AI 驅動的面部動畫與肖像編輯感興趣的人士。

亮點

• 多物種支援：適用於人類、貓和狗。
• 跨平台相容性：支援 Linux、Windows 和 macOS (Apple Silicon)。
• 跨模態驅動：支援影片轉影片 (v2v) 與圖像驅動動畫。
• 精確控制：透過 Gradio 介面提供區域控制與精確的肖像編輯。
• 高效性：在支援的系統上提供 torch.compile 選項，可將推論速度提高 20-30%。