sou350121/VLA-Handbook

本项目旨在为致力于进入VLA(Vision-Language-Action)领域的算法工程师提供一份全中文、实战导向的学习/面试手册。 不同于通用的 CV/NLP 面试指南，本项目聚焦于 Robotics 特有的挑战

VLA 핸드북 – 비전-언어-행동 로보틱스를 위한 살아있는 지식 기반

개요 – 로보틱스를 위한 비전-언어-행동(VLA) 모델에 대한 빠르게 성장하는 문헌을 선별하고 정제하는 오픈소스, 지속적으로 업데이트되는 저장소입니다. 논문을 읽는 것과 실제로 로봇에서 코드를 실행하는 것 사이의 격차를 메우며 다음을 제공합니다:

  • 이론 – 아키텍처, 행동 표현, 세계 모델, 촉각 인식 등을 다루는 688개의 Markdown 분석.
  • 배포 – 실제 로봇에서 결과를 재현하기 위한 실용 가이드, 하드웨어 권장 사항, 그리고 "새너티 체크" 스크립트.
  • 커뮤니티 인사이트 – 중국어(샤오홍슈) 및 영어(HF 블로그, Discord) 커뮤니티 팁의 자동 추출, GitHub 이슈 정제 포함.
  • 산업 레이더 – 로보틱스/구현 AI 기업, 자금 조달, IPO를 매일 추적하고 주간 "산업 판단 맵" 제공.
  • AI 어시스턴트 스킬 – 핸드북의 지식을 Claude, Cursor, Codex 등에 주입하는 플러그인.

중요성 – VLA 연구는 폭발적으로 증가하고 있지만(주당 수십 편의 논문), 재현성은 GitHub 이슈, 부록 코드, 분산된 포럼 게시물에 파편화되어 있습니다. 이 프로젝트는 새로운 논문의 수집, 평가, 요약을 자동화하고, 엔지니어링 수준의 세부 사항(하이퍼파라미터, 형태 검사, 진입 스크립트)을 추가하여 개발자가 읽기에서 실행까지 한 단계로 갈 수 있게 합니다.

주요 구성 요소

구성 요소 얻을 수 있는 것 업데이트 주기
theory/ 688개의 심층 Markdown(코어, 확산-플로우, 세계 모델, 촉각 등) 매일 2~3개의 새 분석
deployment/ 하드웨어 선택, 다중 모달 동기화, Sim-2-Real 체크리스트, 커뮤니티 필드 노트 중국어 노트는 3일마다, 영어 노트는 매주
reports/weekly 및 biweekly 트렌드 다이제스트, SOTA 테이블, 예측 대 현실 점수 주간/격주
scripts/ 전체 파이프라인(논문 스크래핑, 평가, 요약, RSS 생성) – SCRIPTS.md에 문서화 매일 아침 33개의 cron 작업 실행
companies/ 기업 프로필, 자금 조달, 제품 업데이트, 구직 가이드 매일 레이더, 주간 맵
VLA-expert-skill LLM 코딩 어시스턴트용 즉시 로드 가능한 스킬 핸드북과 매일 동기화

작동 방식 – Pulsar 엔진(별도 저장소)이 33개의 cron 작업을 실행하여:

  1. arXiv 및 기타 소스에서 최신 VLA 논문을 가져옵니다.
  2. 각 논문을 ⚡/🔧/📖/❌ 태그(영향, 엔지니어링 준비도 등)로 평가합니다.
  3. Markdown 분석을 생성하고 인덱스를 업데이트하며 RSS 피드를 게시합니다.
  4. 커뮤니티 게시물(샤오홍슈, HF 블로그, Discord)과 GitHub 이슈를 수집하여 "필드 노트"로 정제하고 다시 병합합니다.
  5. 19개의 도메인 가설을 유지하고 관찰된 데이터에 따라 신뢰 점수를 자동으로 조정합니다 – 자기 진화형 지식 검증 루프.

사용 대상

  • 구체적인 진입 스크립트, 하이퍼파라미터 테이블, 하드웨어 호환성 매트릭스가 필요한 로보틱스 엔지니어.
  • 선별된 최신 VLA 방법 및 트렌드 맵을 찾는 연구자.
  • 구현 AI 스타트업의 경쟁 환경을 추적하는 제품 팀.
  • 제공된 스킬을 통해 VLA 전문가로 변신할 수 있는 LLM 기반 코딩 어시스턴트.

시작하기

  1. 저장소를 클론합니다.
  2. theory/README.md에서 학습 로드맵을 확인하거나 특정 주제(예: theory/vla-core/vla_arch.md)로 이동합니다.
  3. 실제 로봇 배포의 경우 deployment/README.md를 읽고 제공된 새너티 체크 스크립트를 따릅니다.
  4. RSS 피드를 구독(또는 OPML을 가져오기)하여 매일 업데이트를 받아보세요.
  5. VLA Expert Skill을 선호하는 AI 코딩 어시스턴트에 설치하여 핸드북에 대화형으로 질의하세요.

기여 – 프로젝트는 커뮤니티 기여를 환영합니다: 새로운 논문 분석, 추가 배포 경험, 인터뷰 질문 뱅크, 산업 레이더 업데이트. 지침은 CONTRIBUTING.md를 참조하세요.

위의 모든 정보는 저장소의 README에서 직접 가져온 것이며 외부 가정은 추가되지 않았습니다.

관련

  • 프로젝트
    starVLA/starVLA

    StarVLA는 로봇용 Vision-Language-Action 모델을 개발하기 위한 모듈식 오픈소스 코드베이스입니다. 플러그 앤 플레이 구성 요소, 여러 VLA 프레임워크, 훈련 레시피, 벤치마크 통합을 제공하며 빠른 프로토타이핑과 쉬운 사용자 지정에 중점을 둡니다.

  • 프로젝트
    allenai/vla-evaluation-harness

    vla-evaluation-harness는 Docker 격리 환경과 경량 모델 서버 스크립트를 사용하여 수십 개의 로봇 시뮬레이션 벤치마크(LIBERO, CALVIN, SimplerEnv 등)에서 Vision-Language-Action 모델을 평가할 수 있는 Python 라이브러리입니다. 배치 병렬 실행(에피소드 샤딩 + GPU 배칭)을 통해 큰 속도 향상을 제공하며, 2,456개 모델의 통합 리더보드와 연구 및 훈련 중 평가를 위한 간단한 CLI/Python API를 제공합니다.

  • 프로젝트
    Robbyant/lingbot-vla-v2

    LingBot‑VLA 2.0은 로봇을 위한 오픈소스 Vision‑Language‑Action 파운데이션 모델입니다. 다양한 로봇 형태를 55차원 동작 벡터로 통합하고, MoE 레이어와 듀얼 쿼리 증류(깊이 + 미래 비디오)를 사용하여 예측 역학을 학습하며, 약 6만 시간의 로봇 및 에고센트릭 비디오 데이터로 학습되었습니다. 이 저장소는 conda 기반 설치, 6B 파라미터 체크포인트 다운로드 스크립트, 데이터 준비 도구, 사용자 정의 데이터셋에 대한 사후 학습, RoboTwin 벤치마크 및 실제 로봇에서의 평가 도구를 제공합니다. 보고된 결과에 따르면 양팔 및 이동 조작 작업에서 1.0 버전 대비 눈에 띄는 성능 향상을 보입니다.

  • 프로젝트
    FluxVLA/FluxVLA

    FluxVLA 엔진은 로봇용 비전-언어-행동(VLA) 모델을 훈련, 평가, 배포하기 위한 오픈소스 엔드투엔드 플랫폼입니다. 통합 구성, 모듈식 모델 백엔드, 벤치마크 스위트(LIBERO, RoboCasa, RoboDojo), 배포 도구(Docker, Jetson Orin, Triton, ZMQ)를 제공하며 Franka 및 Oli에서 실제 로봇 데모를 지원합니다.

  • 프로젝트
    dsta022/Loop-Engineering-for-VLA

    Loop Engineering for VLAnything는 RGB, RGB-D, 그리고 미래의 시각-촉각 데이터를 포함하는 다중 모달 로봇 학습 데이터셋을 기록, 병합, 감사, 확장, 반복 개선할 수 있는 엔드투엔드 파이썬 툴킷입니다. 보수적이고 사이드카 중심의 품질 감사, 플러그인 가능한 의미 평가기, 언어 어노테이션 파이프라인, 정책 개선을 위한 클로즈드 루프를 제공하며, LeRobot 데이터 형식과 호환되며 Hugging Face에 게시 가능합니다.