ZhuoyangLiu2005/T-Rex

해결하는 문제

T-Rex는 로봇 조작에서 동적 촉각 반응의 부족을 해결합니다. 대부분의 비전-언어-액션(VLA) 모델은 정적 촉각 인코더에 의존하거나 촉각을 완전히 무시하는 반면, T-Rex는 고주파 촉각 신호에 실시간으로 반응할 수 있게 하여, 변형 가능한 물체를 조작하거나 미세한 힘 제어가 필요한 작업에 필수적입니다.

작동 방식

• 비동기 혼합 변환기(MoT): Qwen3-VL-2B 기반으로, 서로 다른 주파수에서 작동하는 세 가지 전문 전문가(잠재, 액션, 촉각)를 사용합니다. '느린' 액션 노이즈 제거 프로세스(5 Hz)는 일반적인 추론을 처리하고, '빠른' 촉각 정밀화 프로세스(20 Hz)는 전체 비전 스택을 다시 실행하지 않고도 액션 청크 내에서 로봇의 움직임을 조정할 수 있게 합니다.
• 계단식 흐름 매칭: 이 메커니즘은 느린 전문가와 빠른 전문가를 결합하여 정책이 접촉에 동적으로 반응할 수 있도록 합니다.
• 시계열 촉각 VQ-VAE: 1차원 컨볼루션 VQ-VAE는 시간에 따라 변화하는 고주파 힘과 변형 데이터를 토큰화하여 모델이 촉각 신호를 이산 토큰으로 처리할 수 있도록 합니다.
• 3단계 학습: 대규모 촉각 없이 사전 학습한 후, 촉각 반응형 중간 학습을 거친 뒤, 최종적으로 작업에 특화된 후학습을 수행합니다.

대상 사용자

• 정교한 조작 기술을 연구하거나 개발하는 로봇 연구자 및 엔지니어.
• 접촉이 풍부한 작업을 위한 VLA 모델을 개발하는 개발자.
• Dexmate Vega-1 또는 유사한 이중손 로봇 시스템 사용자.

주요 특징

• 촉각 반응형 데이터셋: 100시간 분량의 데이터셋(50시간은 오픈소스)을 포함하며, 22개의 모터 프리미티브와 200개 이상의 물체를 수록합니다.
• 고주파 반응: 12개의 접촉이 풍부한 작업에서 강력한 베이스라인 대비 평균 성공률이 30% 높습니다.
• 내장형 토크나이저: 촉각 VQ-VAE는 모델 내부에 직접 내장되어 원시 촉각 데이터를 실시간으로 인코딩할 수 있습니다.
• 완전한 스택: Manus 글러브와 VIVE 트래커를 사용한 원격 조작 코드를 포함한 데이터 수집 전체 스택을 제공합니다.