hzxie/DynamicVLA
The official implementation of "DynamicVLA: A Vision-Language-Action Model for Dynamic Object Manipulation". (NeurIPS 2026)
解決する課題
DynamicVLA は、移動中または状態が変化する物体を操作する（動的物体操作）ことを可能にし、静的シーン操作の限界を超えることを目的としています。
仕組み
これは、視覚観察と言語指示を処理してロボットの動作を出力する視覚-言語-動作（VLA）モデルです。このプロジェクトは、DOM（動的物体操作）と呼ばれる専用データセットと、高忠実度シミュレーションとベンチマークのための Isaac Lab との統合を含む、トレーニングと評価のための完全なパイプラインを提供します。
対象読者
動的環境を扱う必要がある、具現化 AI、ロボット操作、VLA モデルに取り組む研究者や開発者。
ハイライト
- DOM データセット：動的物体操作のトレーニングとベンチマークに特化したデータセット。
- シミュレーション統合：合成データ生成とポリシー評価のための Isaac Lab および Isaac Sim を完全サポート。
- 柔軟なアクション表現：デルタアクション（現在の状態に対する相対）と回転のオイラー角をサポート。
- 分散トレーニング：
torchrunを使用したマルチ GPU 分散トレーニング用スクリプトを含む。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト