Grabette: 로봇 조작 데이터 수집을 위한 오픈 시스템

Grabette: 로봇 조작 데이터 수집을 위한 오픈 시스템

Hugging Face와 Pollen Robotics는 로봇 조작 데이터를 기록하기 위해 설계된 오픈 소스 저비용 시스템인 Grabette를 선보였습니다. Grabette는 사람이 물리적 로봇을 원격 제어하는 대신 핸드헬드 그리퍼를 사용하여 시연을 기록할 수 있게 함으로써, 로봇 학습의 데이터 병목 현상을 제거하고 대규모의 개방형 협업 조작 데이터셋을 구축하는 것을 목표로 합니다.

로봇 학습 데이터 병목 현상 해결

현재 로봇 학습은 transformer 기반 VLA, diffusion policies, world models와 같은 유능한 정책 아키텍처의 발전 속도가 대규모의 다양하고 실제적인 조작 데이터의 가용성보다 빨라 공급 문제에 직면해 있습니다. 전통적인 원격 제어(teleoperation)는 물리적 로봇과 복잡한 하드웨어 장치가 필요하기 때문에 비용이 많이 들고, 까다로우며, 다양한 환경에 걸쳐 확장하기가 어렵습니다.

Grabette는 로봇 없이도 데이터 수집을 가능하게 함으로써 이 문제를 해결합니다. 사용자는 핸드헬드 그리퍼를 사용하여 인간 손 움직임의 6-DoF 궤적을 캡처할 수 있으며, 이는 로봇이 학습할 수 있는 데이터를 제공합니다. 이 접근 방식은 진입 장벽을 낮추어 하드웨어를 가진 사람이라면 누구나 공유 데이터셋에 기여할 수 있게 합니다.

기술 아키텍처 및 하드웨어

Grabette는 Universal Manipulation Interface (UMI)에서 영감을 받았으며, 로봇에 구애받지 않도록 설계되었습니다. 이 시스템은 관찰과 추적 역할을 분리하기 위해 듀얼 카메라 시스템을 활용합니다:

  • Observation Camera: 저비용 광각 어안 렌즈가 정책에 필요한 컨텍스트가 풍부한 손목 카메라 스타일의 뷰를 제공합니다.
  • Tracking Camera: RGBD 카메라가 시연의 견고한 6-DoF 추적을 담당합니다.

하드웨어 구성 요소 및 비용

시스템은 두 가지 주요 하드웨어 구성 요소로 구성되며, 두 가지 모두 오픈 소스입니다 (CAD 및 제작 파일은 GitHub에서 확인 가능):

  1. Grabette (Handheld Device): 카메라, IMU, 그리퍼를 포함합니다. BOM(Bill of Materials) 비용은 약 490달러입니다.
  2. Gripette (Robot Gripper): Grabette의 모터 구동형 엔드 이펙터 버전으로, 카메라와 두 개의 서보 모터를 특징으로 하며 BOM 비용은 약 120달러입니다. 이는 학습된 움직임을 실제 또는 시뮬레이션 로봇 팔에서 실행하는 데 사용됩니다.

이 장치는 Raspberry Pi, 표준 Pi 카메라, OAK-D depth 카메라, 자기 인코더를 포함한 표준 기성품을 사용하여 제작됩니다.

데이터 수집 및 처리 파이프라인

Grabette는 다음 두 단계를 통해 시연에서 학습 준비가 된 데이터셋으로의 전환을 단순화합니다:

1. 기록 (Recording)

사용자는 장치의 버튼을 눌러 작업을 기록합니다. 시스템은 관찰 카메라, 추적 카메라(컬러, 깊이 및 IMU), 그리퍼의 인코더 관절 값을 동시에 기록하며, 이 모든 데이터는 단일 공유 클록에 의해 동기화됩니다. 데이터는 Raspberry Pi에 로컬로 저장됩니다.

2. 브라우저 기반 처리

사후 처리는 로컬 설치가 필요 없는 브라우저 기반 대시보드와 Hugging Face Space를 통해 처리됩니다:

  • Upload: 선택된 에피소드는 Hugging Face Hub에 업로드됩니다.

  • SLAM: grabette-slam space는 RTAB-MAP 라이브러리를 사용하여 SLAM을 수행하고 궤적의 정확성(도약 또는 추적 손실 여부)을 검증합니다.

  • Conversion: 에피소드는 LeRobot 형식으로 변환됩니다.

  • Visualization: 최종 데이터셋은 사용자의 space에 업로드되어 LeRobot visualizer를 통해 볼 수 있습니다.

엔드 투 엔드 구현 예시

시스템의 유용성을 입증하기 위해, 개발자들은 200개의 기록된 시연을 사용하여 LeRobot 스택을 통해 Diffusion Policy (ResNet18 + SpatialSoftmax encoder, DDIM scheduler, 6-D rotation actions)를 학습시킨 예시를 제공했습니다. 이 정책은 이후 gRPC API를 통해 구동되는 Gripette 그리퍼가 장착된 OpenArm 7-DoF 암에서 평가되었습니다.

향후 발전 계획

현재 릴리스 외에도 이 프로젝트는 기능을 확장할 계획입니다. 1인칭 시점(egocentric) 캡처를 위해 Grabette를 보완할 수 있는 머리 장착형 POV 장치인 Casquette라는 작업 진행 중인 장치가 개발되고 있습니다.

Sources