dexmal/dexbotic
Dexbotic: Open-Source Vision-Language-Action Toolbox
何を解決するか
Dexboticは、視覚言語行動（VLA）モデルの統合開発ツールボックスを提供し、身体的な知能のための事前学習、微調整、推論、評価のプロセスを簡素化します。異なるVLAアルゴリズム用の複雑な環境を設定する手間を排除し、さまざまなロボットプラットフォーム間でトレーニングデータを標準化して扱う方法を提供します。
動作方法
PyTorchに基づいて構築されたこのツールボックスは、階層的な設定、ファクトリ登録、エントリディスパッチからなるモジュールアーキテクチャを採用しています。これにより、研究者はコアコードを再実装せずに、モデルの交換、設定の変更、新しいタスクの追加を実験スクリプトで行うことができます。ローカルの一般消費者向けGPUとクラウドトレーニングプラットフォームの両方をサポートしており、UR5、Franka、ALOHAなどの異なるハードウェア間で互換性を確保するための統一されたトレーニングデータフォーマットを含んでいます。
対象ユーザー
身体的AIの研究や開発に従事する研究者や開発者、特にロボット操作およびナビゲーション用のVLAモデルを開発している人向けです。
主な特徴
- 広範なモデル対応: π0、CogACT、OFT、MemVLA、DM0などの主流ポリシーを統合しています。
- 最適化されたパフォーマンス: 高性能な事前学習済み基盤モデルと、Tritonをバックエンドに持つリアルタイムバックエンドを備えており、推論速度を最大5倍に向上させます。
- 柔軟なトレーニング: FSDP2による分散トレーニングと、効率的な微調整のためのLoRAをサポートしています。
- ハードウェア非依存: 複数のロボットタイプ向けのデプロイスクリプトとデータフォーマットを提供し、最新のBlackwell GPUアーキテクチャもサポートしています。
関連
- プロジェクト
OpenBMB/DeepThinkVLADeepThinkVLAは、ロボットの行動を生成する前に明示的な連鎖的思考（CoT）の推論ステップを挿入する視覚言語行動モデルです。自己回帰的推論 → 並列行動生成というハイブリッドデコーダーを採用し、新たに作成されたエムベデッドCoTデータセットで訓練した後、成果志向の強化学習で最適化します。このモデルはLIBEROベンチマークで平均97 %の成功確率を達成し、純粋な自己回帰ベースラインの0.175×の遅延で動作し、新しいLIBERO Plusスイートへのゼロショット転移も可能になっています。
- プロジェクト
open-gigaai/giga-brain-0GigaBrain‑0.7 は、ロボット向けのオープンソースで大規模な視覚言語行動モデルです。37,000時間の多様な身体化データで事前学習されており、8種類のロボット身体化をサポート。トレーニングスクリプト、ベンチマークスイート（VLM‑Benchmark、RoboColiseum、RoboTwin 2.0、EBench）、ROSと統合可能な即時実行可能なインファレンスサーバーを同梱しています。
- プロジェクト
opendilab/LightRFTLightRFTは、大規模言語モデル（LLM）およびマルチモーダル生成モデルのファインチューニングのための、オープンソースの分散型強化学習フレームワークです。DeepSpeedやFSDPといったトレーニング・バックエンドと、SGLangやvLLMといったロールアウト・エンジンを統合し、GRPO、REINFORCE++、DAPOなどの様々なRLアルゴリズムをサポートし、テキスト、画像、動画、音声の各モダリティに対応しています。ライブラリには、すぐに実行可能な例（例：Qwen2.5を使用したGSM8K）、詳細なドキュメント、Dockerイメージが用意されており、RLベースのアライメント・パイプラインを構築する研究者やエンジニアに適しています。
- プロジェクト
dsta022/Loop-Engineering-for-VLALoop Engineering for VLAnything は、ビジョン・言語・アクションモデル向けのマルチモーダルロボット学習データセット（RGB、RGB-D、および将来の視覚触覚）を記録、マージ、監査、拡張、反復改善できるエンドツーエンドのPythonツールキットです。保守的でサイドカー最優先の品質監査、プラグイン可能な意味的評価器、言語アノテーションパイプライン、ポリシー改善のクローズドループを提供し、LeRobotデータフォーマットと互換性があり、Hugging Faceに公開可能です。