Dai-Wenxun/MotionLCM

何を解決するか

MotionLCMは、既存のテキスト条件付き人間の動き生成モデルにおける実行時非効率性を解決します。従来の空間時間制御手法は遅かったものの、MotionLCMはテキストおよび制御信号からリアルタイムで制御可能な人間の動きを生成できます。

動作方法

このプロジェクトは、動きの潜在拡散モデルに基づいた動きの潜在一貫性モデル（MotionLCM）を実装しています。1ステップまたは数ステップの推論を使用することで、リアルタイム性能を達成しています。制御性を維持するために、潜在空間内に動きのControlNetを統合し、訓練中に明示的な制御信号（例：初期動き）を通常の動き空間で使用して監視を提供しています。

対象ユーザー

このツールは、人間の動き合成、コンピュータアニメーション、AI駆動キャラクタ制御に取り組む研究者および開発者向けに設計されています。

主な特徴

• リアルタイム生成: 潜在一貫性モデルを使用して、推論ステップを1ステップまたは数ステップに削減します。
• 制御可能な合成: 専用のControlNetを用いてテキストから動き、および動き制御をサポートします。
• 包括的なパイプライン: 動きの再構成、テキストから動き生成、SMPLメッシュレンダリングのためのツールを含みます。
• 柔軟な制御: 特定の関節（例：骨盤）または複数の関節を同時に制御できます。