jasongzy/Make-It-Animatable

何を解決するか

Make-It-Animatable (MIA) は、アニメーション対応の3Dキャラクターを作成するための効率的なフレームワークを提供します。従来、3Dアーティストが手作業で行っていたリギング（骨格構造（ボーン）の作成と、メッシュのどの部分がどのボーンと連動するかを定義するスキンニングウェイトの割り当て）プロセスを自動化します。

動作方法

このフレームワークは、ニューラルネットワークを使用してアニメーションに必要な要素（ジョイントの位置、スキンニングウェイト、ポーズ）を予測します。最新バージョン（v2）では、Hunyuan3D 2.1 ShapeVAEバックボーンを活用してメッシュ入力を処理し、これらのアニメーションパラメータを予測します。このシステムは、Mixamoなどのデータセットで学習させることで、3D形状から骨格構造へのマッピングを学習できます。

対象ユーザー

静的な3Dメッシュを、標準的な骨格アニメーションパイプラインで使用可能なキャラクターに迅速に変換したい3Dアーティスト、ゲーム開発者、コンピュータビジョンおよびグラフィックス分野の研究者。

主な特徴

• 自動リギング：3Dメッシュ入力から直接ジョイントとスキンニングウェイトを予測。
• Blender統合：Blender内でのポストプロセッシングおよびグローバル変換の復元をサポートするツールを含む。
• 汎化性：3DBiCarデータセットを含む多様なデータセットで訓練されており、異常な体型のキャラクターにも対応可能。
• 効率的な学習：ウェイト、ボーン、ポーズのそれぞれを別々に学習可能で、VRAM使用量の最適化と柔軟性を実現。