SmolVLA: Lerobotコミュニティデータで訓練された効率的なVision-Language-Actionモデル

Hugging Faceは、ロボティクス向けに設計されたコンパクトな450MパラメータのオープンソースVision-Language-Action（VLA）モデル SmolVLA をリリースしました。SmolVLAは、コンシューマ向けハードウェア上で高性能なロボット制御を可能にし、シミュレート環境（LIBERO、Meta-World）と、SO100やSO101アームなどの手頃なハードウェアを使用した実世界タスクの両方で、より大きなVLAモデルやACTなどのベースラインを上回ります。

モデルアーキテクチャと設計

SmolVLAは、知覚のためのVision-Language Model（VLM）と制御のための専門的なアクションエキスパートを組み合わせたモジュラーアーキテクチャを採用しています。

Vision-Language Model（VLM）バックボーン

SmolVLAはバックボーンとして SmolVLM2 を使用し、これはSigLIPビジョンエンコーダとSmolLM2言語デコーダで構成されています。モデルはマルチモーダル入力を以下のように処理します：

  • Images: ビジョンエンコーダで抽出されます。
  • Language Instructions: トークナイズされ、デコーダに入力されます。
  • Sensorimotor States: 言語モデルの次元に合わせるため、線形層を通して単一トークンに投影されます。

アクションエキスパート: Flow Matching Transformer

アクションエキスパートは、約100Mパラメータのコンパクトなトランスフォーマーで、将来のロボットアクション（アクションチャンク）のシーケンスを生成します。flow matching objective を用いて学習され、ノイズのあるサンプルを真の軌道に戻す「補正ベクトル」を予測します。この手法により、連続アクションを直接かつ非自己回帰的に予測でき、自己回帰デコードに伴う遅延なしにリアルタイム制御と高精度を実現します。

効率化最適化

低レイテンシと小さなフットプリントを維持するため、SmolVLAは以下の3つの具体的なアーキテクチャ選択を実装しています：

  • Visual Token Reduction: 画像（例: 512×512）はPixelShuffleを使用して1024トークンから64トークンに圧縮され、推論時間を大幅に短縮します。
  • Layer Skipping: アクションエキスパートはVLM特徴に対して全層の半分までしかアテンションを行いません。これにより、VLMとアクションエキスパートの計算コストが半減し、性能低下は最小限に抑えられます。
  • Interleaved Attention: アクションエキスパートはクロスアテンション（知覚と指示に基づくアクションの条件付け）と自己アテンション（時間的平滑性の確保とジッター低減）を交互に行います。

非同期推論スタック

SmolVLAは、アクション実行とチャンク予測を分離し、実行遅延を排除する非同期推論スタックを導入します。

同期 設定では、ロボットは現在のチャンクを実行した後、次のアクションチャンクを計算するために一時停止します。非同期 設定では、ロボットは現在のチャンクを実行しながら、最新の観測をポリシーサーバー（GPU上にある場合も）に送信します。

  • Early Trigger: キュー長が閾値（例: 70%）以下になると、新しい観測がサーバーに送信されます。
  • Decoupled Threads: 推論は制御ループと並行して実行されます。
  • Chunk Fusion: 連続するチャンクの重複アクションが統合され、ジッターが防止されます。

このシステムは、同期推論と比較して 30% 速いタスク完了（9.7秒 vs 13.75秒）と 2倍 高いタスクスループット（固定ウィンドウで19個 vs 9個のキューブ完了）を実現し、成功率（約78%）はほぼ同等です。

コミュニティデータセットでのトレーニング

SmolVLAは、Hugging Face Hub上のLeRobotコミュニティから収集された 487 の高品質データセット を用いて事前学習され、総計で約 1,000万フレーム です。これは一般的なベンチマークデータセットよりも桁違いに小さいものの、行動、カメラ視点、具現化の多様性が向上しています。

データ標準化

コミュニティデータの断片化された性質に対処するため、Hugging Faceは2つの標準化プロセスを適用しました：

  1. Task Annotation Improvement: Qwen2.5-VL-3B-Instruct を使用して、曖昧なラベル（例: "Move"）を動詞で始まる30文字以内の簡潔なアクション指向の記述に書き換えました（例: "Pick up the cube"）。
  2. Camera View Standardization: 一貫性のないカメララベルを標準スキームにマッピングしました：OBS_IMAGE_1（トップダウン）、OBS_IMAGE_2（リストマウント）、OBS_IMAGE_3+（追加ビュー）。

事前学習の影響

コミュニティデータでの事前学習は性能を大幅に向上させます。SO100アームでは、成功率が 51.7%（事前学習なし）から 78.3%（事前学習後）へと上昇し、 +26.6% の絶対的改善 を示しています。

パフォーマンス結果

SmolVLAは、複数のベンチマークにおいて強力な汎化性能と効率性を示します：

  • Simulation: LIBERO と Meta-World において、より大きなVLAやベースラインを上回ります。
  • Real-World (SO100): ピック・プレイス、スタッキング、ソーティングタスクでベースラインと同等またはそれ以上の性能を示します。
  • Generalization (SO101): ACTベースラインと比較して、新しい具現化への汎化能力が優れています。
  • Hardware Accessibility: モデルはCPU、MacBook、または単一のコンシューマGPU上で実行できるほど小型です。

Sources