Grabette: ロボット操作データ収集のためのオープンシステム
Grabette: ロボット操作データ収集のためのオープンシステム
Hugging Face と Pollen Robotics は、ロボット操作データを記録するために設計されたオープンソースで低コストのシステムである Grabette を紹介しました。物理ロボットをテレオペレーションする代わりにハンドヘルドグリッパーを使って人間がデモンストレーションを記録できるようにすることで、Grabette はロボット学習におけるデータボトルネックを解消し、大規模でオープンかつ協調的な操作データセットの基盤を築くことを目指しています。
ロボット学習のデータボトルネックの解決
ロボット学習は現在、トランスフォーマーベースの VLA、ディフュージョンポリシー、ワールドモデルなどの能力の高いポリシーアーキテクチャが、大規模で多様な実際の世界の操作データの可用性を上回る供給問題に直面しています。従来のテレオペレーションは、物理ロボットと複雑なハードウェアリグを必要とするため、しばしば高コストで要求が厳しく、さまざまな環境でのスケーリングが難しいです。
Grabette は、ロボットを使わずにデータ収集を可能にすることでこの問題に対処します。ユーザーはハンドヘルドグリッパーを使って人間の手の動きの 6-DoF 軌跡をキャプチャでき、これがロボットが学習できるデータを提供します。このアプローチは参入障壁を下げ、ハードウェアを持っている誰もが共有データセットに貢献できるようにします。
技術アーキテクチャとハードウェア
Grabette は Universal Manipulation Interface (UMI) にインスパイアされており、ロボットに依存しないように設計されています。観察と追跡の役割を分離するためにデュアルカメラシステムを利用しています：
- Observation Camera: コンテキスト豊富なリストカメラスタイルのビューをポリシーに必要とする低コストの広角フィッシュアイレンズを提供します。
- Tracking Camera: RGBD カメラは、デモンストレーションの堅牢な 6-DoF トラッキングを処理します。
ハードウェアコンポーネントとコスト
このシステムは、2 つの主要なハードウェアコンポーネントから構成されており、両方ともオープンソースです（CAD と生産ファイルは GitHub で利用可能です）：
- Grabette (ハンドヘルドデバイス): カメラ、IMU、グリッパーを含みます。材料費（BOM）は約 490⁄ です。
- Gripette (ロボットグリッパー): Grabette のモーターエンドエフェクターの双子で、カメラと 2 つのサーボモーターを備えています。材料費（BOM）は約 120⁄ です。これは実際のロボットアームまたはシミュレートされたロボットアームで学習された動作を実行するために使用されます。
このデバイスは、Raspberry Pi、標準の Pi カメラ、OAK-D 深度カメラ、磁気エンコーダーなどの標準的なオフザシェルフコンポーネントを使用して構築されています。
データ収集と処理パイプライン
Grabette は、デモンストレーションからトレーニング可能なデータセットへの移行を 2 つのステップで簡素化します：
1. 記録
ユーザーはデバイスのボタンを押してタスクを記録します。システムは、観察カメラ、追跡カメラ（色、深度、IMU）、およびグリッパーのエンコーダー関節値からのデータを単一の共有クロックによって同期しながら同時に記録します。データは Raspberry Pi 上にローカルで保存されます。
2. ブラウザベースの処理
後処理は、ブラウザベースのダッシュボードと Hugging Face Space を介して行われ、ローカルインストールは必要ありません：
- Upload: 選択されたエピソードは Hugging Face Hub にアップロードされます。
- SLAM:
grabette-slamスペースは RTAB-MAP ライブラリを使用して SLAM を実行し、軌跡の正確性を確認します（ジャンプやトラッキングの損失をチェック）。 - Conversion: エピソードは LeRobot フォーマットに変換されます。
- Visualization: 最終データセットは、LeRobot ビジュアライザーを介して表示するためにユーザーのスペースにアップロードされます。
エンドツーエンド実装例
システムの有用性を示すために、開発者は LeRobot スタックを使用して 200 件の記録されたデモンストレーションを用いて Diffusion Policy（ResNet18 + SpatialSoftmax エンコーダー、DDIM スケジューラー、6-D 回転アクション）をトレーニングする例を提供しました。このポリシーは、Gripette グリッパーを装備した OpenArm 7-DoF アームで評価され、gRPC API を介して駆動されました。
今後の開発
現在のリリースを超えて、プロジェクトはその機能を拡張することを意図しています。 Casquette と呼ばれる作業中のデバイスは、頭部装着型 POV デバイスであり、Grabette を補完して自己中心的なキャプチャを行うために開発中です。