starVLA/starVLA

⭐ StarVLA란 무엇인가요?

StarVLA는 시각-언어-행동(VLA) 모델을 구축하기 위한 오픈소스 연구 플랫폼입니다. 이는 시각을 인식하고 언어를 이해하며 로봇 행동을 생성할 수 있는 신경망입니다. 코드베이스는 의도적으로 모듈식(레고처럼) 설계되어, 시각-언어 백본, 행동 생성 헤드, 학습 레시피 등을 최소한의 부담으로 교체할 수 있습니다.

🎯 핵심 기능

영역	StarVLA가 제공하는 내용
모듈식 아키텍처	데이터 로딩, 모델 백본(예: Qwen‑VL, Florence‑2), 행동 헤드(FAST, OFT, 플로우 매칭, GR00T), 학습 유틸리티 등 고결합 모듈. 각 구성 요소는 별도로 실행 가능해 빠른 디버깅이 가능합니다.
다중 벤치마크 지원	점차 확장되는 몸체형 AI 벤치마크용 즉시 실행 파이프라인: LIBERO, LIBERO‑plus, SimplerEnv, RoboCasa‑GR1/365, RoboTwin 2.0, DOMINO, BEHAVIOR, CALVIN, RoboDojo 등.
학습 레시피	감독 학습, 다중 모달 공동 학습, 크로스 몸체 공동 학습, 강화학습 후처리를 위한 훅을 구현.
백본 유연성	Qwen‑3 시리즈(0.8 B–9 B), Qwen‑3.5, Florence‑2, VLAct 사전 학습 백본을 지원. DeepSpeed ZeRO를 통해 Ascend NPU 및 GPU 클러스터에서도 작동 가능.
행동 헤드	네 가지 준비된 헤드:

FAST – 이산 토큰 행동.
OFT – 병렬 연속 MLP 디코딩.
PI – 확산 기반 플로우 매칭.
GR00T – 이중 시스템(System 1 + System 2) 아키텍처. | | 확장 가능한 설정 시스템 | 모든 하이퍼파라미터는 단일 계층형 YAML/Dict 설정 파일에 저장되어 쉽게 오버라이드 가능 (예: --framework.qwenvl.base_vlm Qwen/Qwen2.5-VL-7B-Instruct로 VLM 교체). | | 커뮤니티 및 리소스 | 프로젝트 페이지, HuggingFace 모델 저널, AllenAI에서 제공하는 Docker 환경, 공동 개발을 위한 기여자 그룹. |

🚀 시작하기 (빠른 시작)

설치 – docs/starVLA_guideline.md의 단계별 가이드를 따르세요 (환경 설정, 종속성, 선택적 Docker).
벤치마크 선택 – 예: examples/simBenchmarks/LIBERO/train_files/starvla_cotrain_oxe.yaml.

스모크 테스트 실행 (선택 사항):

python starVLA/model/framework/VLM4A/QwenOFT.py --config_yaml starvla_cotrain_oxe.yaml
python starVLA/dataloader/lerobot_datasets.py --config_yaml starvla_cotrain_oxe.yaml

학습 시작 – Accelerate/DeepSpeed 사용:

accelerate launch \
  --config_file starVLA/config/deepseeds/deepspeed_zero2.yaml \
  --num_processes 8 \
  starVLA/training/train_starvla.py \
  --config_yaml examples/simBenchmarks/LIBERO/train_files/starvla_cotrain_oxe.yaml \
  --framework.qwenvl.base_vlm Qwen/Qwen2.5-VL-7B-Instruct

평가 – 제공된 평가 허브 실행 (예: examples/simBenchmarks/RoboDojo/eval.sh). 결과는 자동으로 로깅되며, 공개된 벤치마크 표와 비교 가능.

📊 보고된 성능

StarVLA는 다음과 같은 여러 벤치마크에서 최첨단 성능을 기록했습니다:

LIBERO – assets/starvla_LIBERO.png의 막대 그래프 참조.
RoboCasa‑PI – 1 016/2 500 태스크 분할에서 40.64 % 성공률.
SimplerEnv, Calvin, RoboTwin 2.0, DOMINO 등 (전체 표는 Overleaf 링크 참조).

🤝 커뮤니티 및 기여

모델 및 데이터 허브 – HuggingFace 컬렉션 StarVLA/*에 사전 학습 체크포인트와 데이터셋 호스팅.
기여자 목록 – starvla.github.io/contributors에서 실시간 업데이트 중이며, contrib.rocks 배지로 시각화 가능.
토론 채널 – README에 링크된 WeChat 그룹 및 GitHub 이슈(기능 요청, 버그 보고, PR 리뷰).
파생 프로젝트 – NeuroVLA, PhysBrain, TwinBrainVLA, LangForce, LaWAM 등 모두 StarVLA의 핵심 스택을 기반으로 구축.

📚 언제 StarVLA를 사용해야 하나요?

시각-언어 인식과 로봇 제어를 통합한 파이프라인을 필요로 하는 몸체형 AI 연구.
데이터 파이프라인을 재작성하지 않고 새로운 행동 헤드를 프로토타이핑하거나 다양한 VLM 백본을 실험.
하나의 코드베이스로 여러 시뮬레이션/실제 로봇 벤치마크를 비교 검증.
DeepSpeed, Ascend NPU, 또는 멀티 GPU 클러스터를 활용한 실험 확장.

📌 인용

StarVLA를 사용할 경우, arXiv 기술 보고서(2604.05014)를 인용하세요. README에는 최신 BibTeX 항목이 제공됩니다.