ToyBlocks: 로봇 학습 및 평가를 위한 통제된 세계

ToyBlocks 개요

ToyBlocks는 로봇 공학 연구를 위한 "FoundationWorld" 역할을 하도록 설계된 새로운 시뮬레이션 프레임워크로, 연구자가 학습 데이터, 모델 설계 및 테스트 조건을 체계적으로 변경할 수 있는 통제된 환경을 제공합니다. 탁상 위에서 블록을 조작하는 로봇 팔이라는 제한된 영역에 집중함으로써, ToyBlocks는 모델이 새로운 작업에 어떻게 일반화되는지, 그리고 고수준 추론과 정밀한 물리적 제어를 어떻게 효과적으로 결합할 수 있는지와 같은 복잡한 로봇 공학 문제를 연구할 수 있게 합니다.

핵심 프레임워크 요구 사항

ToyBlocks는 좁은 범위의 실제 로봇 시연의 한계를 해결하기 위해 다음 네 가지 핵심 요구 사항을 충족하도록 구축되었습니다:

  1. 현실적인 물리 및 외관: 시뮬레이션된 동작이 실제 물리적 대응물과 밀접하게 일치하도록 보장합니다.
  2. 대규모 자동 생성: 시간이 많이 소요되는 인간의 원격 조작 없이 작업 및 시연 데이터를 생성합니다.
  3. 추론 및 손재주: 모델이 고수준 계획과 물리적 조작 기술을 결합하도록 도전 과제를 제시합니다.
  4. 광범위한 도메인 커버리지: 정의된 환경 내에서 포괄적인 작업 세트를 제공합니다.

기술 아키텍처

ToyBlocks는 엔드투엔드 로봇 학습을 촉진하기 위해 여러 구성 요소를 통합합니다:

  • 기술 생성: Nvidia의 Isaac Lab 내에서 강화 학습(RL) 및 모션 계획을 사용하여 블록 밀기, 뒤집기, 회전하기와 같은 비파지(non-prehensile) 기술을 개발합니다.
  • 작업 및 모션 계획(TAMP): 이러한 기술을 자동으로 시퀀싱하여 복잡한 작업을 해결하고, 단일 GPU에서 실시간 성능의 최대 24배에 달하는 라벨링된 시연 데이터셋을 대규모로 생성합니다.
  • 계층적 제어: 이 프레임워크는 전략을 결정하는 고수준 추론 모델(예: Molmo 2)과 특정 물리적 움직임을 실행하는 저수준 동작 모델(예: ManiFlow) 간의 분리를 지원합니다.

연구 응용 분야

ToyBlocks는 로봇 공학 연구의 몇 가지 중요한 영역을 위한 테스트베드를 제공합니다:

  • 공간 일반화: 연구자는 시각-언어-동작(VLA) 모델이 객체 배치, 조명 및 작업 공간 경계의 변화를 어떻게 처리하는지 테스트하여 현재 많은 모델이 왜 여전히 취약한지 파악할 수 있습니다.
  • 장기 계획: 블록으로 단어를 철자하는 것과 같은 다단계 작업을 생성함으로써, 에이전트가 정보를 밝히기 위해 탐색적 행동을 수행해야 하는 시나리오를 포함하여 계층적 계획을 평가할 수 있습니다.
  • 에이전트 시스템: 이 프레임워크는 Model Context Protocol (MCP)를 통해 최첨단 모델과의 통합을 지원하여, 에이전트가 자연어를 사용하여 환경과 상호 작용하고, 가설을 형성하며, 자체 실험을 설계할 수 있도록 합니다.
  • 세계 모델 평가: ToyBlocks는 지상 진실(ground-truth) 상태 데이터를 제공하여 연구자가 동작 조건부 세계 모델(예: Wan 2.2 또는 LeWM)이 물리적 상호 작용과 작업 결과를 얼마나 정확하게 예측하는지 측정할 수 있게 합니다.

Sim-to-Real 전송

시뮬레이션과 실제 세계 사이의 격차를 줄이기 위해, 이 프레임워크는 시스템 식별을 사용하여 관절 마찰 및 관성과 같은 시뮬레이션 매개변수를 실제 로봇 궤적과 일치하도록 조정합니다. 또한 물리적 및 시각적 속성에 대해 도메인 무작위화를 사용하고 RGB 이미지에서 깨끗한 깊이 맵을 생성하여 추론을 개선합니다. 초기 실험에 따르면 ToyBlocks 시뮬레이션에서 완전히 학습된 계층적 시스템은 실제 Franka FR3 로봇에 배포되었을 때 유사한 성공률을 달성했으며, 이는 시뮬레이션 기반 학습이 실제 하드웨어로 전송될 수 있는 잠재력을 보여줍니다.

Sources