nv-tlabs/ardy

解決する課題

ARDY (Autoregressive Diffusion with Hybrid Representation) は、テキストプロンプトと特定の空間的制約の両方にリアルタイムで応答する、リアルでインタラクティブな人体モーションを生成するという課題を解決します。ユーザーは自然言語を使用してキャラクターの動きをガイドしながら、足の位置、ルート軌道、特定の身体ポーズといった精密な運動学的要件を同時に強制することができます。

仕組み

ARDYは、モーションを連続的なリアルタイムストリームで処理する自己回帰拡散モデルを使用しています。LLM2Vecを介した大規模言語モデルと、外部入力によって制約可能なモーション生成エンジンを組み合わせています。このシステムは「オンライン」生成をサポートしており、ユーザーが新しいウェイポイント、速度ターゲット、キーフレーム制約を入力するたびに、キャラクターの動きをその場で調整できます。ブラウザベースのインタラクティブなデモと、バッチ処理用のコマンドラインインターフェースが含まれています。

対象ユーザー

このプロジェクトは、キャラクターアニメーション、ロボットシミュレーション、またはインタラクティブな仮想環境に取り組んでおり、高忠実度で制御可能なモーション合成システムを必要とする研究者や開発者を対象としています。

ハイライト

• マウス、キーボード、ストリーミングテキストプロンプトによるリアルタイムのインタラクティブ制御。
• ルートパス、ウェイポイント、全身キーフレーム、エンドエフェクタ位置を含む柔軟な制約サポート。
• ヒューマノイドやUnitree G1のような特定のロボットプラットフォームを含む、複数のスケルトンタイプをサポート。
• ライブモーションの可視化と制御のためのインタラクティブなWebベースGUIを同梱。
• 低遅延パフォーマンスを保証するためのTensorRTアクセラレーションオプションを提供。