Grabette: 機器人操作資料收集的開放系統
Grabette: 機器人操作資料收集的開放系統
Hugging Face 與 Pollen Robotics 已推出 Grabette，一個開放原始碼且低成本的系統，旨在記錄機器人操作資料。透過讓人類使用手持夾具進行示範記錄，而非遠端操作實體機器人，Grabette 旨在消除機器學習中的資料瓶頸，並種子一個大型、開放且協作的機器人操作資料集。
解決機器學習資料瓶頸問題
機器學習目前面臨供應問題，即強大的政策架構（例如基於 Transformer 的 VLA、擴散政策和世界模型）的發展速度超過了大型、多樣化、真實世界機器人操作資料的可用性。傳統的遠端操作往往昂貴、需求高，且在各種環境中難以擴展，因為它需要實體機器人和複雜的硬體設備。
Grabette 透過無需機器人即可進行資料收集來解決此問題。使用者可以使用手持夾具捕捉人手運動的 6-DoF 軌跡，這些資料可供機器人學習。此方法降低了入門門檻，讓任何擁有硬體的人都能貢獻到共享資料集。
技術架構與硬體
Grabette 受到 Universal Manipulation Interface (UMI) 的啟發，並設計為與機器人無關。它利用雙攝像頭系統來分離觀察與追蹤角色：
- 觀察相機： 低成本廣角魚眼鏡頭提供了政策所需的豐富上下文、類似腕部相機的視角。
- 追蹤相機： RGBD 相機負責穩健的 6-DoF 示範追蹤。
硬體元件與成本
該系統由兩個主要硬體元件組成，兩者皆為開放原始碼（CAD 和生產檔案可在 GitHub 上取得）：
- Grabette (手持設備): 包含相機、IMU 和夾具。其物料清單（BOM）成本約為 490⁄。
- Gripette (機器人夾具): Grabette 的馬達端效器雙胞胎，具備相機和兩個伺服馬達，BOM 成本約為 120⁄。此設備用於在真實或模擬機器人手臂上執行學習到的動作。
該設備使用標準的現成元件構建，包括 Raspberry Pi、標準 Pi 相機、OAK-D 深度相機和磁性編碼器。
資料收集與處理流程
Grabette 透過兩個步驟簡化從示範到訓練就緒資料集的過渡：
1. 錄製
使用者透過按下設備上的按鈕來記錄任務。系統同時記錄來自觀察相機、追蹤相機（顏色、深度和 IMU）以及夾具的編碼器關節值的資料，全部由單一共享時鐘同步。資料儲存在 Raspberry Pi 上的本地。
2. 基於瀏覽器的處理
後續處理透過基於瀏覽器的儀表板和 Hugging Face Space 進行，無需本地安裝：
- 上傳： 選取的情節被上傳到 Hugging Face Hub。
- SLAM:
grabette-slam空間使用 RTAB-MAP 函式庫執行 SLAM 並驗證軌跡正確性（檢查是否有跳躍或追蹤丟失）。 - 轉換: 情節被轉換為 LeRobot 格式。
- 視覺化: 最終資料集被上傳到使用者的空間，以便透過 LeRobot 視覺化器進行檢視。
端到端實作範例
為了展示系統的實用性，開發者提供了一個範例：使用 LeRobot 堆疊將 200 筆錄製的示範用於訓練擴散政策（ResNet18 + SpatialSoftmax 編碼器，DDIM 排程器，6-D 旋轉動作）。此政策之後在配備 Gripette 夾具的 OpenArm 7-DoF 機械手臂上進行評估，透過 gRPC API 驅動。
未來發展
在當前版本之後，該項目計畫擴展其功能。一個名為 Casquette 的進行中的裝置，為頭戴式 POV 裝置，正在開發中，以補充 Grabette 進行自我中心的捕捉。