dexmal/opendm

解決する課題

OpenDMは、オープンワールドのロボット制御用に設計されたVision-Language-Action (VLA) モデルであるDM0.5のフレームワークとモデルウェイトを提供します。これは、オープンエンドな指示の実行、長期的なタスクの管理、動的な外乱への対応、および異なる身体性を持つロボットの制御といった課題に対処します。

仕組み

このプロジェクトは、ネイティブな具身化モデリングアプローチを実装しています。VLAモデルのトレーニング、ファインチューニング（LoRA SFTを含む）、およびデプロイのためのツールスイートを提供します。システムは複数の画像入力（ヘッドカメラやリストカメラなど）をサポートし、ロボットの関節やグリッパーを制御するためのアクションチャンクを出力します。高性能なデプロイのために、TensorRT、Triton、およびPyTorch FlexAttentionを活用して推論を高速化する「高速バックエンド」が含まれています。

対象ユーザー

具身化AIやロボット工学に取り組み、汎用的なロボット制御モデルのトレーニング、評価、デプロイを必要とする研究者や開発者向けに設計されています。

ハイライト

• 高いベンチマーク性能: RoboChallenge Table30 V2、RoboColiseum、およびRoboDojo-Simのリーダーボードでトップを獲得。
• マルチエンボディメント（多身体性）サポート: AgileX COBOT MagicやDOS-W1を含む、さまざまなロボットプラットフォームを制御可能。
• 詳細なトレーニングパイプライン: 教師ありファインチューニング (SFT) とLoRAのための包括的なガイドに加え、カスタムロボットデータ用のデータセット登録システムが含まれています。
• 高速推論: 実世界アプリケーションでの遅延を低減するための、専用の高速推論バックエンドを提供します。