localai-org/motion-bricks.cpp

解決する問題

このプロジェクトは、スケルタルアニメーションとモーションコントロールを生成するシステムである NVIDIA MotionBricks の高性能でポータブルな C++ 実装を提供します。これにより、開発者は重い GPU ベースのトレーニングフレームワークに依存することなく、標準的な CPU や Vulkan 互換ハードウェア上でこれらのモーションモデルを実行できます。

仕組み

GGML ライブラリを使用して、GGUF 形式のモデル重みをロードおよび実行します。システムは、モデルとスタイルバンドルのロードから、モーションの計画、ポーズトークンの予測、スケルタルアニメーションへのデコードまで、推論パイプライン全体を処理します。安定した C ABI を公開しており、複雑な Cgo バインディングを必要とせずに Go などの他の言語に統合できます。また、現実的なアニメーション再生を駆動するための MuJoCo 物理シミュレーションのオプションサポートも含まれています。

対象読者

このプロジェクトは、ロボティクス、キャラクターアニメーション、または具現化 AI に取り組む開発者や研究者を対象としており、エッジデバイスや標準的なサーバーハードウェアで実行されるアプリケーションに高品質なモーション生成を統合する必要があります。

ハイライト

• ルートプランニング、ポーズ予測、VQ デコードを含む完全な G1 推論パスを実装。
• Go などの他のプログラミング言語との簡単な統合のための安定した C ABI を提供。
• CPU および Vulkan バックエンドをサポートし、柔軟なハードウェア展開を実現。
• モーションの正確性を確保するために、上流の NVIDIA リファレンス実装に対するパリティ検証ツールを含む。
• Three.js フロントエンドを使用したインタラクティブなデモを提供し、スケルタルな動きとコントロールを視覚化。