KlingAIResearch/LivePortrait

解決する課題

LivePortraitは、効率的で高品質なポートレートアニメーションを作成するために設計されています。駆動ビデオや画像を使用して、静止したポートレート画像（人間、猫、または犬）にアニメーションを付与することができ、結果として得られるアニメーションのリアリティと制御性を確保します。

仕組み

このシステムは、ポートレートワーピングレンダラーとキーポイント検出を使用します。主に「人間モード」と「動物モード」（キーポイント検出に X-Pose フレームワークを使用）の2つのモードをサポートしています。ユーザーは、ソースとなる画像またはビデオと、動きを転送するための駆動ビデオを提供できます。また、このプロジェクトは「モーションテンプレート」（.pkl ファイル）をサポートしており、推論を高速化し、最終レンダリング時に駆動ビデオを必要としないようにすることでプライバシーを保護します。

対象者

このツールは、ビデオクリエイター、スタートアップ、およびソーシャルメディアプラットフォーム（Kuaishou、Douyin、WeChat Channelsなど）向けのアプリケーションを構築している開発者、またはAI駆動のフェイシャルアニメーションやポートレート編集に興味がある方に向けたものです。

ハイライト

• マルチ種対応: 人間、猫、犬に対応しています。
• クロスプラットフォーム互換性: Linux、Windows、macOS (Apple Silicon) をサポートしています。
• クロスモーダル駆動: ビデオからビデオへの変換 (v2v) と画像駆動のアニメーションの両方をサポートしています。
• 精密な制御: Gradio インターフェースを介した領域制御と精密なポートレート編集が含まれています。
• 効率性: サポートされているシステムでは、torch.compile オプションにより推論が 20-30% 高速化されます。