ginwind/VLA-JEPA

해결하는 문제

VLA-JEPA는 잠재 세계 모델을 통합함으로써 시각-언어-행동(VLA) 모델의 성능을 향상시킵니다. 이는 로봇 에이전트가 잠재 공간에서 자신의 행동 결과를 더 잘 이해하고 예측할 수 있도록 도와주어, 다양한 환경에서 복잡한 작업을 수행하는 능력을 강화합니다.

작동 방식

이 프로젝트는 시각-언어 모델(VLM)과 잠재 세계 모델 인코더를 결합합니다. 구체적으로 Qwen3-VL-2B 모델과 V-JEPA2 인코더를 사용합니다. 시스템은 Droid, LIBERO, BridgeV2와 같은 로봇 전용 데이터셋과 ssv2와 같은 인간 영상 데이터셋의 혼합 데이터로 훈련되어 일반화 가능한 행동 정책을 학습합니다. 사전 훈련 및 사후 훈련 단계 모두를 지원하며, LeRobot v2.1 형식을 사용하여 사용자 정의 로봇 데이터셋에 적응할 수 있습니다.

대상 사용자

이 프로젝트는 몸체 지능과 VLA 모델에 종사하는 로봇 연구자 및 AI 엔지니어를 대상으로 하며, 세계 모델을 활용해 로봇 제어 정책을 개선하고자 하는 사람들을 위한 것입니다.

주요 특징

• 하이브리드 훈련: 로봇 전용 행동 데이터와 일반적인 인간 영상 둘 다에서 훈련 가능.
• 광범위한 벤치마크 지원: LIBERO, LIBERO-Plus, SimplerEnv 벤치마크용 평가 스크립트 포함.
• 사용자 정의 가능: LeRobot v2.1 형식을 통해 사용자만의 로봇 데이터셋 통합 가능.
• 사전 훈련된 구성 요소: Qwen3-VL 및 V-JEPA2와 같은 최첨단 구성 요소 활용.