LeRobotDataset v3.0 릴리즈 노트 / 새로운 점

Hugging Face는 LeRobotDataset:v3.0을 출시했습니다. 이는 로봇 학습을 위한 표준화된 데이터셋 형식으로, 수백만 개의 에피소드를 확장하도록 설계되었습니다. 이번 업데이트는 버전 2.0에서 발견된 파일 시스템 제한을 여러 에피소드를 하나의 파일로 묶어 해결하고, 전체 로컬 다운로드 없이 대규모 데이터셋을 처리할 수 있는 네이티브 스트리밍 모드를 도입합니다.

확장 가능한 데이터 저장 아키텍처

LeRobotDataset:v3.0은 파일당 하나의 에피소드를 저장하는 방식에서 연결된 저장 모델로 전환하여 로컬 및 원격 파일 시스템에 대한 부하를 줄입니다. 이 형식은 데이터를 세 가지 주요 축으로 구성합니다:

  • Tabular Data: 저차원, 고주파 데이터(예: 관절 상태 및 행동)는 Apache Parquet 파일에 저장됩니다. 이러한 파일은 datasets 라이브러리를 통해 빠른 메모리 매핑 또는 스트리밍 접근이 가능합니다.
  • Visual Data: 카메라 프레임은 연결되어 MP4 파일로 인코딩됩니다. 여러 에피소드는 하나의 비디오 파일로 묶이며, 여러 비디오는 카메라 뷰별로 그룹화됩니다. 파일 시스템 성능을 더욱 최적화하기 위해 이들은 하위 디렉터리로 구성됩니다.
  • Metadata: JSON 파일은 관계 계층 역할을 하며, 표형 데이터와 시각 데이터를 매핑합니다. 여기에는 특징 스키마, 프레임 레이트, 정규화 통계, 에피소드 경계 등이 포함됩니다.

데이터셋 저장소 구조

연결된 저장에도 불구하고 개별 에피소드 수준에서 검색 효율성을 유지하기 위해 저장소는 다음과 같은 구조를 사용합니다:

  • meta/info.json: 특징(예: observation.state, action), 형태, 데이터 타입, FPS, 경로 템플릿을 정의하는 중앙 스키마.
  • meta/stats.json: 각 특징에 대한 집계 통계(평균, 표준편차, 최소, 최대)로, 데이터 정규화에 사용됩니다.
  • meta/tasks.jsonl: 자연어 작업 설명을 정수 인덱스로 매핑하여 작업 조건부 정책 학습에 활용합니다.
  • meta/episodes/: 에피소드별 메타데이터(길이, 작업, 데이터 포인터)를 청크된 Parquet 파일에 저장합니다.
  • data/: Parquet 파일에 저장된 핵심 프레임별 표형 데이터로, 여러 에피소드의 데이터가 더 큰 파일로 연결됩니다.
  • videos/: 여러 에피소드의 연결된 영상을 포함하는 MP4 파일로, 카메라 키와 청크별로 조직됩니다.

스트리밍 및 데이터 접근

LeRobotDataset:v3.0은 StreamingLeRobotDataset 인터페이스를 도입하여, 사용자가 전체 컬렉션을 디스크에 다운로드하지 않고도 Hugging Face Hub에서 직접 데이터를 실시간으로 배치 처리할 수 있게 합니다.

표준 로컬 접근을 위해 LeRobotDataset 클래스는 PyTorch DataLoader와 통합됩니다. delta_timestamps 인자를 통한 네이티브 윈도우 연산을 지원하여, 사용자가 특정 프레임 전후 일정 초 동안의 관측 및 행동 스택을 가져올 수 있습니다—이는 강화 학습(RL) 및 행동 클로닝(BC) 알고리즘에 필수적인 요구사항입니다.

마이그레이션 및 설치

LeRobotDataset:v3.0은 공식적으로 lerobot-v0.4.0 안정 버전에 통합될 예정입니다. 현재 사용자는 lerobot-v0.3.x 사전 릴리스 버전을 통해 이 형식에 접근할 수 있습니다.

v2.1 기존 데이터셋을 v3.0으로 마이그레이션하려면, Hugging Face는 개별 에피소드 파일을 새로운 연결 형식으로 집계하고 메타데이터를 업데이트하는 변환 유틸리티를 제공합니다:

python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=<HFUSER/DATASET_ID>

지원되는 구현체

이 형식은 확장성을 염두에 두고 설계되었으며 현재 다음과 같은 다양한 로봇 데이터 범위를 지원합니다:

  • 조작기 플랫폼(예: SO-100 팔, ALOHA-2 설정)
  • 실제 인간형 로봇 데이터
  • 시뮬레이션 데이터셋
  • 자율 주행 차량 데이터

Sources