MINT-SJTU/Evo-1

해결하는 문제

Evo-1은 로봇 조작을 위해 설계된 경량화된 Vision-Language-Action (VLA) 모델입니다. 시각 및 텍스트 명령을 정확한 로봇 동작으로 변환하면서 의미론적 정렬을 유지하여 다양한 시뮬레이션 벤치마크와 실제 로봇 하드웨어에서 작동할 수 있도록 하는 효율적인 모델 생성의 과제를 해결합니다.

작동 방식

Evo-1은 로봇 제어를 학습하기 위해 2단계 훈련 패러다임을 사용합니다. 첫 번째 단계에서는 통합 모듈과 동작 전문가를 훈련합니다. 두 번째 단계에서는 VLM (Vision-Language Model)과 동작 헤드를 포함한 전체 규모 훈련을 수행합니다. 플로우 매칭 동작 헤드를 지원하며 데이터 처리 및 배포를 위해 LeRobot 프레임워크와 통합됩니다. 이 모델은 서버-클라이언트 아키텍처를 통해 작동하며, 클라이언트가 관측값(이미지, 로봇 상태 및 프롬프트)을 전송하면 서버가 동작 청크를 반환합니다.

대상 독자

이 프로젝트는 구체적 지능을 위한 경량 VLA 모델이 필요한 로봇 공학 연구원 및 개발자, 특히 Meta-World, LIBERO, RoboTwin과 같은 시뮬레이션 환경에서 작업하거나 xArm6, SO100/SO101, Jetson Orin과 같은 실제 하드웨어에 배포하는 개발자를 위한 것입니다.

하이라이트

• 폭넓은 벤치마크 지원: Meta-World, LIBERO, LIBERO-plus, RoboTwin(50개의 양손 작업)에서 검증되었습니다.
• 경량 아키텍처: 효율성을 위해 설계되었으며, 더 빠른 훈련과 GPU 메모리 사용량 감소를 위한 전용 evo1-flash 브랜치가 있습니다.
• 프레임워크 통합: Hugging Face LeRobot 프레임워크에 완전히 통합되었으며 SFT 및 GRPO 파인튜닝을 위한 RLinf 프레임워크의 지원을 받습니다.
• 크로스-엠바디먼트 배포: xArm6 및 Jetson Orin Docker 지원을 포함한 다양한 하드웨어용 추론 스크립트를 제공합니다.