ロボティクスAIを組み込みプラットフォームへ：データセット記録、VLAファインチューニング、デバイス上最適化

Hugging Face と NXP は、組み込みロボットプラットフォーム上で Vision‑Language‑Action (VLA) モデルを展開するためのシステムエンジニアリング手法を詳細に示しています。主なポイントは、成功する展開には 高一貫性データセット記録、モデルグラフの アーキテクチャ分解、そしてエッジハードウェアの計算・メモリ制約を克服する 非同期推論 の組み合わせが必要である、ということです。

高一貫性データセット記録

信頼できる VLA ポリシー学習は、データ量よりもデータの一貫性に大きく依存します。例えば「ティーバッグをマグに入れる」タスクでは、以下の記録手法が精度維持に不可欠です。

環境とハードウェアの安定性

固定カメラマウント: カメラの姿勢ドリフトを防ぐために剛性マウントが必要です。ロボットの振動や環境リセットによるカメラシフトは精度低下を招きます。
制御された照明とコントラスト: 固定光源を使用し、直射日光を避けることで時間的変動を防ぎます。ロボットアーム、対象物、環境間の高コントラストは「白対白」シナリオを回避するために必須です。
キャリブレーションバックアップ: ロボットとテレオペレータのキャリブレーション情報をバックアップしておくことで、ソフトウェアクラッシュ後にエピソードを再録画する必要がなくなります。
入力制限: オペレータは実行時にポリシーが利用できるカメラ入力のみを使用し、推論時にモデルがアクセスできない情報を導入しないようにします。

視点戦略

複数の視点を組み合わせることで全体精度が向上します。NXP は 3 カメラ構成を推奨しています。

トップビュー: シーン全体の俯瞰を提供します。
グリッパーカメラ: 微細操作タスクに特に推奨され、最も近い視点で正確な把持とアラインメントが可能です。
左側ビュー: 高さと奥行きの認識を補完し、トップビューを補足します。

物理的およびデータの多様性

ハードウェア調整: グリッパー爪に熱収縮チューブを巻くことで摩擦が増し、スリップが減少し、ポリシー学習の安定性が向上します。
作業領域のクラスタリング: 到達可能な作業領域を開始位置クラスタ（例：10 × 10 cm）に分割し、各クラスタで少なくとも 10 エピソードを記録します。
リカバリーエピソード: 訓練セットの約 20 % を「リカバリーエピソード」として含め、最初の試行が失敗した後にロボットが対象物を再取得するシナリオを追加すると、全体成功率が向上します。
バリデーション分割: 特定のクラスタ（例：クラスタ 6）を訓練セットから除外し、未見のバリデーションセットとして使用することで過学習を防ぎます。

VLAポリシーのファインチューニング

実践的なファインチューニングは、10 クラスタにまたがる 120 エピソードを、30 fps の 640 × 480 px カメラ 3 台で実施しました。

主な知見（モデルチェックポイントに関して）:

ACT (Action Chunking with Transformers): 精度、汎化性、スムーズさの最適なトレードオフは 100k〜160k トレーニングステップ（1 チャンクあたり 100 アクション）で得られました。
SmolVLA: 同様のトレードオフに到達するには、はるかに多くのトレーニングステップ（1 チャンクあたり 50 アクション）が必要です。
評価指標: 最終チェックポイントは、トレーニングロスだけでなく、トレーニングセットとバリデーションセットの成功率に基づいて選択すべきです。

NXP i.MX 95 SoC向けの最適化

NXP i.MX 95 SoC は Arm Cortex‑A55 と Cortex‑M コア、Mali GPU、eIQ Neutron NPU を統合しています。エッジ推論を効率化するため、NXP は以下の 3 つの主要戦略を採用しています。

アーキテクチャ分解

単一のモノリシックグラフではなく、VLA を論理的サブブロックに分割します:

Vision: RGB フレームを視覚埋め込みに変換します。
LLM Backbone: 視覚埋め込みとテキスト埋め込みからアクショントークンを生成します。
Action Expert: フローマッチングを適用し、アクションサンプルを最終的な制御コマンドへとデノイズします。この分離により、ブロック単位での量子化と独立スケジューリングが可能となり、特に Action Expert を低周波数で実行できます。

戦略的量子化

ブロックごとの量子化影響は異なります:

Vision Encoder と LLM Prefill: 量子化しても精度低下は限定的です。
Action Expert: デノイズフローの量子化は、反復デノイズステップ間で誤差が蓄積するため、性能を大きく劣化させます。そのため、このブロックは高精度のまま保持し、安定性を確保します。

非同期推論とスケジューリング

同期制御ループは、ロボットがモデルの推論中に待機するためアイドル時間と振動的な補正を生み出します。非同期推論は生成と実行を分離し、現在のアクションチャンクを実行しながら次のチャンクを並列計算できます。効果的にするためには、エンドツーエンドの推論レイテンシがアクション実行時間より短くなる必要があります（推論時間 < 実行時間）。

i.MX 95におけるパフォーマンスベンチマーク

「ティーバッグをマグに入れる」タスクで、テストセット 20 エピソード、バリデーションセット 10 エピソードを用いて測定した結果は以下の通りです。

ポリシー	フォーマット	推論レイテンシ	全体精度（30エピソード）
ACT	ONNX FP32	2.86 s	0.96
ACT	Optimized	0.32 s	0.89
SmolVLA	ONNX FP32	29.1 s	0.47

NXP は SmolVLA のオンボード推論レイテンシ基準を 6.15 秒に最適化済みで、今後は NPU のさらなる最適化、スケーラブルなデータ生成のためのシミュレーション環境構築、Sim‑to‑Real 転送に注力する予定です。