OpenWAM-Official/OpenWAM

解決する問題

OpenWAMは、モデルアーキテクチャ、表現、トレーニング戦略などの設計選択がしばしば密結合され、比較が難しいワールド・アクション・モデル（WAM）の構築という課題に取り組みます。モジュール式の研究スタックを提供し、これらの結合された決定を交換可能なコンポーネントに変換することで、研究者は各部分を体系的に分離、テスト、改善できます。また、5億フレーム以上の自己中心的な人間とロボットのデータでトレーニングされたオープンな事前トレーニング済みモデル（OpenWAM-alpha）を提供し、他の人がゼロからトレーニングする手間を省きます。

仕組み

OpenWAMは主に3つの部分で構成されています：

• OpenWAM-Infra：モデル、表現、トレーニング、推論、デプロイ、評価の選択肢を構成および比較するためのモジュール式インフラストラクチャ。ユーザーはHydra YAML設定を介して、アーキテクチャ（単一、二重、または三重システム）とバックボーン（ビデオ、ビジュアル、言語モデル）のメニューから選択します。
• OpenWAM-Study：世界知識の継承、世界とアクションの学習の結合、およびドメイン間のスケーリングに関する実用的な原則を導き出す制御された実験。
• OpenWAM-alpha：これらの原則を適用したオープンな事前トレーニング済みWAMで、518.5百万フレーム（約6,400時間）の自己中心的な人間とロボットのデータでトレーニングされています。

リポジトリには、アセット（ビデオバックボーン、ベンチマークデータ、VLMバックボーンなど）をダウンロードし、ポリシーをトレーニングまたはファインチューニングし、推論用のWebSocketサーバーとしてデプロイするスクリプトが含まれています。多くのベンチマーク（RoboTwin、LIBERO、LIBERO-plus、RoboCasa365、VLABenchなど）をサポートし、XPolicyLabと統合されています。

対象読者

ワールド・アクション・モデル、ロボットポリシー、またはビデオベースのAIエージェントに取り組む研究者や開発者で、モデルの事前トレーニング、ファインチューニング、評価のための柔軟で拡張可能なプラットフォームを求める人向けです。また、事前トレーニング済みの基盤モデルを使用して特定のタスクにファインチューニングしたい人や、この分野のオープンな研究活動に貢献したい人にも役立ちます。

ハイライト

• モジュール式インフラストラクチャ：設定ファイルを介してモデル、表現、トレーニング、デプロイメントコンポーネントを簡単に交換できます。
• 制御された研究：ワールド・アクション学習の設計原則を導き出すための組み込み実験。
• オープンな事前トレーニング済みモデル：OpenWAM-alphaは518.5百万フレームの人間とロボットのデータでトレーニングされています。
• 複数のアーキテクチャ：単一、二重、三重システム設計をサポートし、ジョイント自己注意やクロスアテンションなどのバリアントがあります。
• 複数のバックボーン：Wan2.2、Cosmos、Qwen3-VL、DINOv3、およびその他のビデオ/ビジュアル/VLMバックボーンと連携します。
• 広範なベンチマークサポート：8つ以上の評価ベンチマークに加え、XPolicyLabとの統合を含みます。
• 公開データセット：クリーンなロボットデータセット（AgiBotWorld-Beta、RoboCOIN、InternData-A1、DROID）がHuggingFaceで利用可能です。
• オープンソース：Apache 2.0ライセンス、プロジェクトページ、論文、コミュニティチャネルを提供。