datawhalechina/every-embodied

무엇을 해결하는가

Every-Embodied는 Embodied AI의 진입 장벽을 낮추기 위해 설계된 종합 학습 라이브러리입니다. 기초적인 시뮬레이션부터 최첨단(SOTA) 모델의 재현까지 이어지는 "zero to hero" 경로를 제공함으로써 이론적인 로보틱스와 실제 구현 사이의 간극을 메우고, 기본적인 Python 지식만 있는 사람들도 이 분야에 쉽게 접근할 수 있도록 합니다.

작동 방식

이 프로젝트는 학습을 세 가지 단계로 구성합니다:

1. Foundations: 로보틱스 기초, 하드웨어 선택, 그리고 ROS (Robot Operating System)에 집중하여 사용자가 첫 번째 시뮬레이션 로봇을 설정할 수 있도록 돕습니다.
2. Intermediate: 컴퓨터 비전, 모션 플래닝, 그리고 강화 학습을 다루어 "recognize-plan-grasp" 폐쇄 루프 작업을 구현합니다.
3. Advanced: 모방 학습, Vision-Language-Action (VLA) 모델, Vision-Language Navigation (VLN), 그리고 Sim2Real 배포를 탐구하여 OpenVLA 및 SmolVLA와 같은 최첨단 프로젝트를 재현합니다.

MuJoCo 및 Isaac Sim과 같은 시뮬레이터를 사용한 다양한 실습 예제와 하드웨어 통합 가이드(예: RDK-X5 보드를 활용한 LeRobot)를 제공합니다.

대상 사용자

• Python 초보자 및 전환을 희망하는 개발자: AI + 로보틱스 분야로 진입하고자 하는 분들.
• 학생 및 연구원: 강의 프로젝트나 논문 재현을 위해 실무 기술을 빠르게 구축하고자 하는 분들.
• 알고리즘 엔지니어: 비전, RL, 또는 LLM 기능을 물리적 상호작용 시나리오로 이식하고자 하는 분들.
• 하드웨어 및 로보틱스 애호가: 제어부터 Sim2Real 배포까지의 전체 파이프라인에 관심이 있는 분들.

주요 특징

• 실무 우선 접근 방식: 좌절감을 줄이기 위해 "실행하고, 결과를 확인하고, 그 다음 원리를 이해한다"는 워크플로우를 강조합니다.
• 광범위한 SOTA 커버리지: 최첨단 VLA 모델, 월드 모델(예: GE-Sim 2.0, tau0-WM), 그리고 휴머노이드 강화 학습을 위한 가이드를 포함합니다.
• 하드웨어 통합: 원격 조작 및 특정 개발 보드에서의 배포를 포함하여 실제 로봇 작동을 위한 튜토리얼을 제공합니다.
• AMD ROCm 지원: AMD 하드웨어에서 정책을 재현하기 위한 특화된 튜토리얼을 포함합니다.
• 다양한 시뮬레이션 도구: MuJoCo, Isaac Sim, 그리고 소프트 바디 물리 엔진을 위한 특화된 시뮬레이터를 포함한 여러 환경을 통합합니다.