ZhiChengAIR/Chengling-PWM

何を解決するか

Chenglingは、ロボットが物理世界の挙動を学ぶための物理世界モデル（PWM）です。ロボットが視覚と本体感覚の生のセンサ入力、および言語プロンプトに基づいて、実際に実行する前に行動の結果を予測し、精神的に結果をシミュレートできるようにします。

動作方法

Chenglingはエネルギーに基づくトランスフォーマー（EBT）アーキテクチャを使用しています。複数視点のRGB観測を凍結されたビジョンエンコーダーで処理し、トランスフォーマーのデコーダーを介して行動履歴と言語プロンプトと融合します。

単一のパスで行動を生成するのではなく、候補となる行動軌道の物理的整合性を評価するためにエネルギー関数を使用します。推論時には、エネルギー勾配に従ってエネルギーが低い、より物理的に妥当な軌道へと向かう反復的サンプリングプロセスであるランジバンダイナミクスMCMCを採用して行動を改善します。StateMapperコンポーネントは、異なるロボットの実体を統一された128次元の潜在行動空間にマッピングし、一つのモデルで多様なロボットを制御可能にします。

対象ユーザー

このプロジェクトは、体現型AIのための世界モデルを開発しているロボット研究者や開発者向けです。特に、拡散ベースの行動生成の代替手段を探している人にとって適しています。

特徴

• エネルギーに基づくモデリング：周辺分布をモデル化するのではなく、世界の整合性を直接測定します。
• 精神的シミュレーション：反復的な勾配ベースの改善（ランジバンダイナミクス）を使用して、軌道を想像し、改善します。
• 柔軟な推論：実行時に改善ステップ数を調整可能で、再トレーニングなしに速度と品質のトレードオフを調整できます。
• 多実体対応：統一された潜在行動空間により、異なるロボットハードウェア構成間での推論が可能になります。