physical-superintelligence-lab/Psi0

해결하는 문제

Psi0는 기민한 인간형 로봇의 로코마니퓰레이션(이동 및 조작 통합)을 위한 오픈 소스 비전-언어-행동(VLA) 모델입니다. 대규모 인간 중심 영상 데이터와 소량의 로봇 전용 데이터를 활용하여, 장시간에 걸친 복잡한 작업을 수행할 수 있도록 인간형 로봇의 능력을 향상시킵니다.

작동 방식

Psi0는 계층적 아키텍처를 사용하여 시각적 및 언어적 지시를 물리적 행동으로 변환합니다.

• System-2 (비전-언어 백본): Qwen3-VL-2B-Instruct 기반으로, 시각적 관측과 텍스트 지시에서 고수준 의미 특징을 추출합니다.
• System-1 (행동 전문가): 다중 모달 확산 변환기(약 5억 파라미터)로 System-2에서 추출한 특징을 입력받아 미래의 전신 행동 청크를 예측합니다.
• System-0 (트래킹 컨트롤러): 강화학습 기반 컨트롤러로 예측된 하체 명령을 실행하여 안정적인 물리적 이동을 보장합니다.

모델은 먼저 대규모 인간 중심 영상 데이터로 사전 학습하여 작업 의미와 시각적 표현을 학습한 후, 실제 원격 조작 로봇 데이터로 후학습하여 로봇의 고유한 역학 특성을 습득합니다.

대상 사용자

본 프로젝트는 인간형 로봇(특히 Unitree G1)을 다루는 로봇 연구자 및 개발자, 그리고 전신 제어를 위한 VLA 모델에 관심 있는 사람들에게 적합합니다.

주요 특징

• 효율적인 파인튜닝: 단 80개의 경로 데이터로 새로운 기민한 로코마니퓰레이션 기술을 습득 가능.
• 하이브리드 아키텍처: VLM 백본과 확산 변환기를 결합한 행동 예측.
• 통합 가능성: 인간형 로봇을 위한 강력한 전신 제어기인 SONIC과의 통합 지원.
• 시뮬레이션 지원: MuJoCo 물리 엔진과 Isaac Sim 렌더링을 사용하는 SIMPLE 시뮬레이터를 통한 벤치마킹 지원.
• 오픈 소스 자산: Hugging Face에서 오픈소스 체크포인트 및 데이터셋 제공.