localai-org/kimodo.cpp

何を解決するか

NVIDIAのKimodoテキストからモーション生成モデルの高パフォーマンスなC++実装を提供し、重いPython環境を必要とせずに、ローカルハードウェア上でテキストプロンプトから人間のモーションシーケンスを生成できるようにします。

動作方法

このプロジェクトはGGML/C++フレームワークを使用してKimodoモデルを実行します。UTF-8テキストプロンプトまたは事前に計算されたLLM2Vec埋め込みのいずれかを入力として受け取ります。その後、SMPL-X22のローカル回転とルート変位を生成し、人間の動きを表現します。CPUおよびVulkan対応GPUの両方で実行可能で、パフォーマンスとVRAM使用量を最適化します。

対象ユーザー

人間のモーション合成、3Dアニメーション、エンボディッドインテリジェンスに関わる開発者や研究者で、テキストからモーション生成用の軽量でローカルの推論エンジンが必要な方。

特徴

• ハードウェアの柔軟性: CPUおよびVulkanによる加速をサポート。
• C/C++ API: 他のソフトウェアへの統合に向けたネイティブAPIを提供。
• GGUF対応: 効率的なモデルロードと重み管理のためのGGUFフォーマットを使用。
• 統合デモ: プロンプトのテストやアニメーション履歴の管理が可能なローカルWebベースのデモを内蔵。