Grabette: 机器人操作数据采集的开放系统

Hugging Face 和 Pollen Robotics 推出了 Grabette，这是一个开源、低成本的系统，旨在记录机器人操作数据。通过让人类使用手持夹具进行示范记录，而不是远程操作物理机器人，Grabette 旨在消除机器学习中的数据瓶颈，并孵化一个大型、开放、协作的操作数据集。

解决机器学习数据瓶颈

机器学习目前面临供应问题，其中有能力的策略架构——如基于变换器的 VLA、扩散策略和世界模型——的发展速度超过了大规模、多样化、真实世界操作数据的可用性。传统的远程操作往往昂贵、要求高，且难以在各种环境中扩展，因为它需要物理机器人和复杂的硬件设备。

Grabette 通过无需机器人即可进行数据收集来解决此问题。用户可以使用手持夹具捕获人手运动的 6-DoF 轨迹，这些轨迹提供了机器人可以学习的数据。此方法降低了入门门槛，使得任何拥有硬件的人都可以为共享数据集做出贡献。

技术架构与硬件

Grabette 受到通用操作界面（UMI）的启发，并被设计为与机器人无关。它利用双摄像头系统将观察和跟踪角色分离：

• 观察相机： 低成本广角鱼眼镜头提供了策略所需的丰富上下文、类似腕部相机的视图。
• 跟踪相机： RGBD 相机负责演示的稳健 6-DoF 跟踪。

硬件组件与成本

该系统由两个主要硬件组件组成，两者均为开源（CAD 和生产文件可在 GitHub 上获取）：

1. Grabette（手持设备）： 包含一个相机、IMU 和夹具。其物料清单（BOM）成本约为 490⁄。
2. Gripette（机器人夹具）： 是 Grabette 的电机驱动端效应器双胞胎，配备一个相机和两个伺服电机，其 BOM 成本约为 120⁄。这用于在真实或模拟机器人臂上执行学习到的运动。

该设备使用标准的现成组件构建，包括 Raspberry Pi、标准 Pi 摄像头、OAK-D 深度摄像头和磁性编码器。

数据收集与处理流程

Grabette 通过两个步骤简化了从演示到训练就绪数据集的过渡：

1. 录制

用户通过按下设备上的按钮来记录任务。系统同时记录来自观察相机、跟踪相机（颜色、深度和 IMU）以及夹具编码器关节值的数据，所有数据由一个共享时钟同步。数据保存在 Raspberry Pi 上的本地存储中。

2. 基于浏览器的处理

后处理通过基于浏览器的仪表盘和一个 Hugging Face Space 进行，无需本地安装：

• 上传： 选定的情节被上传到 Hugging Face Hub。
• SLAM： grabette-slam 空间使用 RTAB-MAP 库执行 SLAM 并验证轨迹正确性（检查跳跃或跟踪丢失）。
• 转换： 情节被转换为 LeRobot 格式。
• 可视化： 最终数据集被上传到用户的空间，以便通过 LeRobot 可视化器进行查看。

端到端实现示例

为了展示系统的实用性，开发者提供了一个示例：使用 LeRobot 堆栈，200 条记录的演示被用于训练扩散策略（ResNet18 + SpatialSoftmax 编码器，DDIM 调度器，6-D 旋转动作）。然后在配备 Gripette 夹具的 OpenArm 7-DoF 机械臂上通过 gRPC API 评估该策略。

未来发展

除了当前发布之外，该项目旨在扩展其功能。一个正在进行中的设备称为 Casquette，这是一个头戴式 POV 设备，正在开发中，以补充 Grabette 进行自我中心捕获。