amazon-far/abc

解決する課題

ABCは、行動クローン作成のためのスケーラブルなフレームワークを提供し、ロボットがオープンデータから複雑なタスクを学習できるようにします。これは、さまざまなタスクや環境に汎化できる堅牢なポリシーをトレーニングするという課題に対処し、モデルアーキテクチャと、トレーニング、評価、実世界へのデプロイに必要なツールの両方を提供します。

仕組み

このプロジェクトでは、主に2つのモデルアーキテクチャを実装しています。

• ABC-DiT: ビジョンバックボーン（デフォルトは DINOv3 または CLIP）を使用して視覚入力を処理し、ロボットの動作を生成する Diffusion Transformer (DiT) ポリシー。
• ABC-VLA: Gemma 3 4B の拡散専用ポートに基づく Vision-Language-Action (VLA) モデルで、視覚処理に SigLIP を、動作生成に DiT ヘッドを利用します。

システムには、タスク評価用の自己完結型 MuJoCo シミュレーター、MCAP ファイルを処理するためのデータ変換パイプライン、および実ロボットの推論と遠隔操作のためのデプロイスタックが含まれています。

対象読者

大規模なデータセットを使用して行動クローン作成ポリシーをトレーニングおよびデプロイする必要があるロボット工学の研究者やエンジニア、特に Diffusion Transformers や VLA などの大容量モデルに関心のある方に最適です。

ハイライト

• デュアルアーキテクチャのサポート: 特化型 DiT ポリシーと、Gemma 3 ベースの大規模 VLA モデルの両方を提供します。
• 統合シミュレーション: タスクカタログとランダム化ツールを備えた包括的な MuJoCo シミュレーターが含まれており、厳密な評価が可能です。
• 実ロボット対応: RTC、遠隔操作、物理ハードウェア用の DAgger チェックポイントを含む完全なデプロイスタックを提供します。
• オープンデータパイプライン: ABC-130k データセットをサポートし、生データをトレーニング可能な形式に変換するためのユーティリティを提供します。