sii-research/tau-0-vla

This repo is the official implementation of "τ0-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation".

해결하는 문제

τ₀-VLA는 장기 로봇 조작 작업의 과제를 해결합니다. 이 모델은 고수준 하위 작업을 계획하고, 다양한 로봇 형태에 걸쳐 작동하는 범용 저수준 정책을 통해 이를 실행할 수 있는 계층적 프레임워크를 제공합니다.

작동 원리

이 시스템은 2계층 아키텍처를 사용합니다:

  1. 고수준 정책: 다음 하위 작업을 예측하는 메모리 증강 플래너(Proposal)입니다. 세계 모델을 사용하여 목표 이미지를 생성함으로써, 테스트 시 계산 중에 복잡한 추론이 필요할 때 시스템이 더 나은 대안을 탐색할 수 있도록 합니다.
  2. 저수준 정책: 하위 작업을 로봇 동작으로 변환하는 범용 실행기입니다. Qwen3.5 비전-언어 백본과 40,000시간 이상의 다양한 실제 로봇 데이터를 사용하여 조건부 흐름 매칭(conditional flow matching)으로 학습된 Mixture-of-Transformers 동작 전문가를 결합합니다.

대상 사용자

로봇 파운데이션 모델, 체화된 지능(embodied intelligence), 그리고 다양한 로봇 하드웨어 플랫폼 전반의 장기 조작 작업을 연구하는 연구자 및 개발자.

주요 특징

  • 계층적 구조: 고수준 계획과 저수준 실행을 분리하여 더 나은 장기 작업 관리를 가능하게 합니다.
  • 세계 모델 가이드: 세계 모델을 사용하여 테스트 시 추론 및 하위 작업 정교화를 위한 목표 이미지를 생성합니다.
  • 교차 형태(Cross-Embodiment): 통합된 40차원 상태/동작 공간을 통해 저수준 정책을 서로 다른 로봇에서 사용할 수 있습니다.
  • 광범위한 학습: 40,115시간의 방대한 이질적 실제 로봇 데이터셋으로 사전 학습되었습니다.

관련

  • 프로젝트
    starVLA/starVLA

    StarVLA는 시각-언어-행동(VLA) 연구를 위한 모듈식 오픈소스 플랫폼으로, 즉시 사용 가능한 백본, 여러 행동 헤드, 다양한 로봇 벤치마크용 미리 준비된 파이프라인을 제공합니다.

  • Dispatch
    pi0와 pi0-FAST: 일반 로봇 제어를 위한 Vision-Language-Action 모델

    Hugging Face는 Physical Intelligence가 개발한 범용 Vision-Language-Action(VLA) 모델인 pi0와 pi0-FAST를 LeRobot 저장소에 통합하여 다양한 로봇 형태에서 다재다능한 로봇 제어를 가능하게 했습니다.

  • 프로젝트
    Robbyant/lingbot-vla-v2

    LingBot‑VLA 2.0은 로봇을 위한 오픈소스 Vision‑Language‑Action 파운데이션 모델입니다. 다양한 로봇 형태를 55차원 동작 벡터로 통합하고, MoE 레이어와 듀얼 쿼리 증류(깊이 + 미래 비디오)를 사용하여 예측 역학을 학습하며, 약 6만 시간의 로봇 및 에고센트릭 비디오 데이터로 학습되었습니다. 이 저장소는 conda 기반 설치, 6B 파라미터 체크포인트 다운로드 스크립트, 데이터 준비 도구, 사용자 정의 데이터셋에 대한 사후 학습, RoboTwin 벤치마크 및 실제 로봇에서의 평가 도구를 제공합니다. 보고된 결과에 따르면 양팔 및 이동 조작 작업에서 1.0 버전 대비 눈에 띄는 성능 향상을 보입니다.

  • 프로젝트
    OpenBMB/DeepThinkVLA

    DeepThinkVLA는 로봇 행동을 생성하기 전에 명시적인 사고 흐름(Chain-of-Thought) 단계를 삽입하는 시각-언어-행동 모델입니다. 자가회귀적 추론 → 병렬 동시 행동 생성을 결합한 하이브리드 디코더를 사용하며, 새로 구축한 몸체화된 CoT 데이터셋으로 훈련한 후 성과 중심 강화학습으로 보완합니다. 이 모델은 LIBERO 벤치마크에서 평균 97 %의 성공률을 달성하고, 순수 자가회귀 기반 대비 0.175×의 지연만을 가지며, 더 새로운 LIBERO Plus 스위트로 제로샷 전이가 가능합니다.

  • 프로젝트
    MINT-SJTU/Evo-1

    Evo-1은 로봇 조작을 위한 경량화된 Vision-Language-Action (VLA) 모델로, 시각 및 텍스트 명령을 로봇 동작으로 변환하여 다양한 시뮬레이션과 실제 하드웨어에서 작동합니다.