Robbyant/lingbot-vla-v2

LingBot‑VLA 2.0 – 로봇을 위한 Vision‑Language‑Action 모델

개요 – 시각적 입력(이미지/비디오)과 언어 지시를 받아 다양한 로봇 형태(팔, 손, 허리, 머리, 이동 베이스 등)에 대해 통합된 55차원 동작 벡터를 예측하는 오픈소스 파운데이션 모델입니다. 로봇 궤적(20개 로봇 구성에서 약 5만 시간)과 인간의 에고센트릭 비디오(약 1만 시간)를 혼합한 약 6만 시간의 데이터로 학습되었습니다. 대규모 사전 학습과 실제 로봇 배포 사이의 간극을 메우기 위해 구축되었습니다.

주요 아이디어

• 통합된 동작 표현 – 모든 형태가 단일 55차원 벡터로 투영되므로 동일한 모델을 매우 다른 로봇에서도 사용할 수 있습니다.
• Mixture‑of‑Experts (MoE) 동작 전문가 – 희소 MoE 레이어를 통해 네트워크가 계산 예산을 고정한 상태에서 보편적인 사전 지식과 형태별 패턴을 모두 학습할 수 있습니다.
• 듀얼 쿼리 증류 – 현재 프레임과 미래 프레임의 시각적 쿼리를 깊이 교사(LingBot‑Depth)와 비디오 의미론적 교사(DINO‑Video)로부터 증류하여 모델에 기하학적 및 예측적 역학을 부여합니다.
• 예측 역학 작업 – 미래의 시각적 특징을 예측하도록 학습되어 계획 능력이 향상되었습니다.
• 확장된 동작 공간 – 팔, 엔드 이펙터, 그리퍼, 정교한 손, 허리, 머리, 이동 베이스 신호를 지원합니다(이전 버전은 양팔 조작만 처리).

설치 (conda + PyTorch 2.8)

git clone https://github.com/Robbyant/lingbot-vla-v2.git
cd lingbot-vla-v2
bash tools/create_train_env.sh   # conda 환경 생성, flash‑attn 2.8.3 설치

선택적 플래그를 사용하여 미리 빌드된 flash‑attn 휠을 지정하거나, 환경 이름을 변경하거나, 강제로 재빌드할 수 있습니다.

사전 학습된 모델 – native‑depth 체크포인트(6B 파라미터)로 릴리스되었습니다. 제공된 스크립트 또는 Hugging Face / ModelScope를 통해 다운로드하십시오:

python3 scripts/download_hf_model.py \
  --repo_id robbyant/lingbot-vla-v2-6b \
  --local_dir lingbot-vla

체크포인트에는 README에 나열된 추가 교사 가중치(Qwen3‑VL‑4B‑Instruct, MoGe‑2‑vitb‑normal, LingBot‑Depth, DINO‑VIDEO)가 필요합니다.

학습 / 사후 학습

1. 데이터 준비 – LeRobot 스타일의 데이터셋을 생성하고, 원시 상태를 55차원 벡터로 매핑하는 로봇 구성 YAML을 작성하며, 정규화 통계량(assets/norm_stats/*.json)을 계산합니다.
2. 실행 – RoboTwin 2.0 50개 작업 제품군에서 학습하는 샘플 명령:

bash train.sh tasks/vla/train_lingbotvla.py ./configs/vla/robotwin/robotwin.yaml \
  --data.train_path assets/training_data/robotwin.txt \
  --data.data_name multi \
  --train.output_dir output/

Muon 옵티마이저 및 TorchTitan의 FlexShard/FSDP2 기반 분산형 변형(Distributed Muon)을 지원합니다.

평가

• 오픈 루프 (오프라인 시뮬레이션) – scripts/open_loop_eval.py를 통해 수행(로봇 구성 이름 --robo_name robotwin 필요).
• RoboTwin 벤치마크 – bash 런처가 GPU 클러스터에서 50개 작업을 모두 실행하여 클린 환경과 무작위 환경에서의 성공률을 보고합니다.
• 실제 로봇 배포 – deploy.lingbot_vla_v2_policy가 단일 추론 호출을 실행(RTX 4090D에서 약 130 ms, 10단계 노이즈 제거)하고 동작을 로봇으로 스트리밍합니다.

성능 하이라이트 (논문 및 README에 보고된 내용)

• GM‑100 양팔 조작 – AgileX Cobot Magic에서 성공률이 58.2 % (VLA‑1.0)에서 66.2 % (VLA 2.0)로 향상.
• 장거리 이동 작업 – 예: 도메인 내 냉장고 정리 성공률 77.1 % (VLA 2.0) vs 65.3 % (π₀.₅ 베이스라인).
• RoboTwin 2.0 시뮬레이션 – 클린 작업 성공률 93.5 % (VLA 2.0) vs 88.6 % (VLA‑1.0); 무작위 환경 92.8 % vs 86.7 %.
• 학습 속도 – Distributed Muon을 통해 단일 H20 GPU에서 반복 시간이 5.93 s에서 4.31 s로 단축(약 37 % 더 빠름).

라이선스 – Apache‑2.0.

인용 – 제공된 BibTeX 항목을 사용하십시오 (arXiv:2607.06403, 2026).

대상 사용자 – 범용 로봇 정책을 구축하는 연구원, 다양한 로봇 형태를 제어할 수 있는 단일 모델이 필요한 엔지니어, 사용자 정의 로봇 데이터셋으로 미세 조정 가능한 Vision‑Language‑Action 파운데이션 모델에 관심이 있는 분.