huggingface/lerobot

LeRobot – Hugging Face의 오픈소스 로보틱스 라이브러리

개요 – LeRobot은 Python 기반의 하드웨어 독립적 라이브러리로, 다음 기능을 통합합니다:

• 통합 Robot API: 다양한 실제 로봇(SO-100과 같은 저가형 암부터 Reachy 2와 같은 휴머노이드까지) 및 원격 조작 장치를 제어하기 위한 API.
• LeRobotDataset: 동기화된 비디오, 상태 및 동작 데이터를 저장하기 위한 표준 형식(MP4/이미지 + Parquet). 데이터셋은 Hugging Face Hub에 저장되며 간단한 유틸리티로 스트리밍, 분할 또는 병합할 수 있습니다.
• 최첨단 정책: 순수 PyTorch로 구현된 정책(모방 학습, 강화 학습, 시각-언어-동작, 세계 모델, 보상 모델 등)으로, 이러한 데이터셋에서 학습하고 실제 하드웨어나 시뮬레이터에 배포할 수 있습니다.
• CLI 도구 (lerobot-train, lerobot-eval, lerobot-record, lerobot-info): 대부분의 상용구 코드를 숨겨 사용자가 단일 명령어로 데이터 수집부터 평가까지 진행할 수 있습니다.

중요성 – 로봇 연구는 파편화된 데이터 형식과 하드웨어별 코드로 인해 어려움을 겪어왔습니다. LeRobot은 공통 데이터셋 스키마와 새로운 로봇, 카메라, 원격 조작 장치를 위한 플러그인 아키텍처를 제공하여 이러한 문제를 해결합니다. 이는 연구자와 취미 사용자의 진입 장벽을 낮추고, Hugging Face Hub에서의 데이터셋 공유를 장려하며, 로봇 학습 알고리즘의 재현 및 벤치마킹을 더 쉽게 만듭니다.

주요 구성 요소

구성 요소	내용
Robot 클래스	연결, 관측값 읽기, 동작 전송 – 동일한 Python 코드가 지원되는 모든 플랫폼에서 작동합니다.
LeRobotDataset	LeRobotDataset('repo/id')로 데이터셋을 로드합니다. 비디오 디코딩 및 상태/동작 텐서는 자동으로 처리됩니다.
정책	즉시 사용 가능한 PyTorch 모델: ACT, Diffusion, VQ-BeT, Pi0 제품군, GR00T, SmolVLA 등(모방 학습, 강화 학습, VLA, 세계 모델, 보상 모델).
CLI	lerobot-train --policy.type=act --dataset.repo_id=lerobot/aloha_mobile_cabinet – 한 줄 명령어로 학습; 평가 및 데이터 기록을 위한 유사한 명령어 제공.
타사 플러그인	lerobot_robot_<name> 또는 lerobot_camera_<name>과 같은 패키지를 설치하여 UR5e, Franka, ROS 2 브리지, 깊이 카메라 등에 대한 지원을 추가할 수 있습니다.

일반적인 워크플로우

1. 로봇 선택 또는 구축 – 내장 클래스를 사용하거나 사용자 정의 플랫폼을 위해 Robot 인터페이스를 구현합니다.
2. 데이터 수집 – lerobot-record를 사용하여 HF Hub 저장소의 LeRobotDataset으로 관측값을 스트리밍합니다.
3. 정책 학습 – 원하는 모델 유형과 데이터셋으로 lerobot-train을 실행합니다.
4. 평가 – 시뮬레이터(예: LIBERO, MetaWorld) 또는 실제 로봇에서 lerobot-eval을 실행합니다.
5. 공유 – 학습된 모델과 데이터셋을 Hub에 푸시하여 다른 사용자가 재사용할 수 있도록 합니다.

대상 사용자 – 로봇 학습 알고리즘을 실험하는 연구자, 재현 가능한 파이프라인을 구축하는 엔지니어, 체화된 AI(Embodied AI)를 가르치는 교육자, 그리고 플러그 앤 플레이 방식으로 로봇을 제어하고 정책을 학습시키려는 취미 사용자.

리소스 – 전체 문서, 튜토리얼, Discord 커뮤니티, 실습 Spaces(로봇 학습 튜토리얼, 티셔츠 접기 데모), 브라우저 기반 원격 조작 및 학습을 위한 웹 UI (LeLab).

---

위의 모든 정보는 해당 저장소의 README에서 직접 가져왔습니다.