Qwen-VLA: 具現化インテリジェンスのためのビジョン・言語・アクションモデリングの統合

Qwen-VLA は、マルチモーダル大規模言語モデルを単に世界を理解するだけから、実際に行動できるように転換することを目的とした、汎用的なビジョン・言語・アクション (VLA) モデルです。視覚認識、言語理解、空間推論を連続的なアクション生成と軌道予測へと拡張することで、Qwen-VLA は単一のモデルで異なる具現化や環境にまたがる多様なロボットタスクを処理できるようにします。

具現化タスクの統一フレームワーク

Qwen-VLA は、専門的でタスク固有のモデルを統一された汎用ポリシーに置き換えます。ロボット操作とビジョン・言語・ナビゲーションを単一のフレームワークで定式化し、モデルは視覚観測、言語指示、具現化固有の条件に基づいて次のアクションまたは軌道を予測します。このアーキテクチャは、理解のために Qwen マルチモーダルバックボーンを利用し、連続的なアクション生成のために専用のアクションデコーダを使用します。

四段階トレーニングパイプライン

Qwen-VLA は、言語事前知識の学習から閉ループ制御の達成まで、4 つの明確な段階を経て共同トレーニングシステムで開発されます。

ステージ I: Text-to-Action (T2A) 事前学習

この初期段階では、VLM は凍結され、アクションデコーダのみが言語および具現化プロンプトで訓練されます。このプロセスは、単純な言語指示（例: "pick up the red cup"）から高次元の連続軌道を生成することを、言語からアクションへのデコンプレッションの形として扱います。

ステージ II: Continual Pretraining (CPT)

VLM とアクションデコーダの両方が凍結解除され、完全なマルチモーダルデータ混合で共同訓練されます。この段階で、T2A で確立された言語-アクションの事前知識が具体的な視覚シーンに基づいて定着し、Qwen-VLA-Base モデルが生成されます。

ステージ III: Supervised Fine-Tuning (SFT)

モデルは CPT チェックポイントから二つのトラックに分岐します:

Multi-task SFT: 操作、ナビゲーション、VQA、空間グラウンディングの共同ファインチューニング。
Real-robot SFT: 物理展開のための内部テレオペレーションデータでのファインチューニング。

ステージ IV: Reinforcement Learning (RL)

PPO を用いて、モデルは SimplerEnv シミュレーション内での閉ループタスク成功に最適化されます。これにより最終的な Qwen-VLA-Instruct モデルが生成され、未見の環境やロボット具現化へも性能が転移します。

トレーニングデータ構成

モデルは 5 つの主要ソースにまたがる大規模データセットで訓練されます:

Robot Manipulation: 公開データが10,000時間以上、内部の実ロボット軌道が1,000時間以上、合成シミュレーション軌道が800万件以上。
Human Egocentric Data: Ego4D、EPIC-KITCHENS、Xperience、EgoDex（829時間）、EgoVerse（1,300時間以上、1,965タスク、240シーン）のデータ。
Synthetic Simulation Data: 20のテーブルトップシーン、200の構成、450のタスクにわたる359,848件の成功軌道。
Text-to-Action Data: 6つのテンプレートと6つの単腕ロボットで、約720万件（14,000時間以上）の軌道。
Vision-Language Navigation: 長時間ホライズンの軌道計画と指示従順のためのデータ。
General Vision-Language Data: 空間グラウンディングとマルチモーダル理解を保持するために使用され、13次元にわたって注釈付けされた48,000件の細粒度アクション記述を含む。

パフォーマンスとベンチマーク

Qwen-VLA-Instruct は、単一の汎用モデルが複数のベンチマークで専門モデルに匹敵または上回ることを示します:

ベンチマーク	ベスト専門モデル	Qwen-VLA
LIBERO	ABot-M0 (98.6%)	97.9%
RoboCasa-GR1	ABot-M0 (58.3%)	56.7%
Simpler-WidowX	StarVLA-OFT (64.6%)	73.7%
RoboTwin-Easy / Hard	ABot-M0 (86.0% / 85.0%)	86.1% / 87.2%

さらに、Qwen-VLA-Instruct は R2R Val-Unseen で 69.0% のオラクル成功率と 57.5% の成功率を達成し、視覚言語ナビゲーション（VLN-CE）において RxR Val-Unseen で 59.6% の SR と 47.8% の SPL を記録し、すべてのオープンソースベンチマークを上回ります。

実世界での汎化と動的シーン

Qwen-VLA は実世界の ALOHA デュアルアーム実験において、分布外（OOD）汎化が強力であることを示します。事前学習済みモデルはドメイン内で平均 83.6% の成功率、OOD で平均 76.9% の成功率を達成し、スクラッチから訓練されたモデル（48.5% / 36.2%）や $\pi_{0.5}$（71.6% / 41.5%）を大幅に上回ります。

モデルは未見の色、物体（例：野菜やサングラス）、背景、照明条件に汎化します。また、"tidy up the table" のような構成的タスクにも対応し、複数のターゲットを特定して多段階操作を実行します。

DOMINO ベンチマークを用いた動的操作タスクにおいて、Qwen-VLA-Instruct は特別なファインチューニングなしで 26.6% の成功率と 39.5 の操作スコアを達成し、標準的な VLA ベンチマークや動的操作のいくつかの専門モデルを上回ります。