sii-research/tau-0-vla

해결하는 문제

τ₀-VLA는 장시간 로봇 조작 작업을 위해 설계되었습니다. 다양한 로봇 구현체 간에 복잡한 동작 시퀀스를 수행하는 도전 과제를 해결하기 위해 고수준 추론과 저수준 실행을 결합합니다.

작동 방식

이 모델은 계층적 아키텍처를 사용합니다:

1. 고수준 정책: 메모리 증강 정책으로 다음 하위 작업을 결정합니다. 복잡한 추론이 필요한 경우 세계 모델 기반의 테스트 시 계산을 활용하여 최적의 대안 동작을 탐색합니다.
2. 저수준 정책: 선택된 하위 작업을 실행하는 일반화된 정책입니다. Qwen3.5 시각-언어 백본을 기반으로 하며, 조건부 플로우 매칭을 통해 훈련된 Mixture-of-Transformers 액션 전문가를 사용합니다. 통합된 40차원 상태/액션 공간에서 작동하며, 40,000시간 이상의 다양한 실제 로봇 데이터로 훈련되었습니다.

대상 사용자

이 프로젝트는 로봇 제어, 장시간 조작, 일반화된 로봇 정책을 위한 기초 모델을 개발하는 로봇 연구자 및 개발자에게 적합합니다.

주요 특징

• 계층 구조: 고수준 하위 작업 계획과 저수준 실행을 분리합니다.
• 세계 모델 가이드: 테스트 시 계산을 사용하여 탐색을 통해 하위 작업 선택을 개선합니다.
• Coflow 매칭: 액션 전문가에 조건부 플로우 매칭을 사용합니다.
• 크로스 에보디먼트: 다양한 실제 세계 데이터로 훈련되어 다양한 로봇 유형에서 작동 가능합니다.