InternRobotics/InternVLA-M1

解決する課題

InternVLA-M1は、複雑な視覚シーンを理解し、正確な動作を実行できる汎用ロボットポリシーを作成するという課題に対処します。高レベルな視覚言語理解と低レベルなロボット制御の間のギャップを埋めることを目的としており、多様なデータセットで容易に拡張およびトレーニング可能なフレームワークを提供します。

仕組み

このフレームワークは、空間誘導型の視覚-言語-動作 (VLA) アプローチを利用しています。言語ヘッドと動作ヘッドを統合システム内に組み込み、トレーニング中の二重監視を可能にしています。大規模なマルチモーダル事前学習 (Qwen2.5-VLなど) を活用し、空間プロンプトのファインチューニングを適用することで、視覚的および空間的な事前知識をロボットタスクに転移させ、個別の動作事前学習を必要とせずに高速な収束を実現します。

対象ユーザー

• ロボット制御にオープンソースの視覚言語モデル (VLM) を使用したい開発者。
• マルチモーダルな視覚言語データと並行して動作データセットを共同トレーニングしているチーム。
• VLAアーキテクチャとトレーニング戦略を研究している研究者。

特徴

• デュアルシステムアーキテクチャ: 言語ヘッドと動作ヘッドを組み合わせて共同トレーニングを行います。
• モジュール設計: モデルアーキテクチャ、トレーニングデータ、評価パイプラインを分離し、デバッグと拡張を容易にします。
• ハードウェアの柔軟性: NVIDIA CUDA、Intel GPU (XPU)、およびCPUをサポートしています。
• 高性能: WindowX、Google Robot、LIBEROなどのベンチマークにおいて、SOTAレベルの収束と強力な結果を示しています。