air-embodied-brain/Zetta-Embodiment

해결하는 문제

Zetta는 로봇과 같은 임베디드 AI의 성공률을 향상시키기 위해 실패에서 자가 진화할 수 있는 능력을 부여하도록 설계되었습니다. 거대한 기본 정책을 재학습하는 대신 Zetta는 온라인에서 코드 기반의 '비평가(Critic)'와 회복 기술을 진화시켜 특정 실패 유형을 처리함으로써, LIBERO-Pro 및 RoboCasa와 같은 벤치마크에서 성공률을 크게 향상시키면서도 높은 추론 속도를 유지합니다.

작동 방식

Zetta는 반복적으로 로봇 성능을 향상시키는 폐쇄 루프 '진화 프로토콜'을 사용합니다:

1. 실패 클러스터링: 비디오와 텔레메트리 데이터를 사용해 실패한 트래잭터리를 그룹화하여 공통된 실패 패턴을 식별합니다.
2. 인과 진단: 실패의 인과 메커니즘을 설명하는 진단 단계입니다.
3. 후보 생성: '후보 작성기'가 실패를 탐지하는 '비평가'와 이를 수정하는 '회복 액터'로 구성된 패키지를 생성합니다.
4. 검증: 새로운 회복 기술은 '샤도 리플레이'와 '같은 시드 게이트'를 통해 테스트된 후 최종 검증된 기술 집합으로 승격됩니다.
5. 실행: 런타임 중 기존 정책은 고정된 상태로 유지되지만, 진화된 비평가는 회복 동작을 제안할 수 있으며, 고위 의사결정 기관(Role1)이 이를 수용하거나 거부할 수 있습니다.

대상 사용자

이 프로젝트는 임베디드 지능, 로봇 조작, 비전-언어-액션(VLA) 모델을 연구하거나 개발하는 연구자 및 개발자에게 적합합니다. 전체 모델의 피니튜닝에 드는 계산 비용 없이도 자가 수정 동작을 구현하고자 하는 분들에게 추천합니다.

주요 특징

• 고성능: LIBERO-Pro(90.8%) 및 RoboCasa(93.6%)에서 최고 수준의 성공률 달성.
• 효율성: 기존 방법 대비 11.1배 빠른 추론 속도 제공.
• 광범위한 환경 지원: LIBERO, RoboCasa, RoboTwin와 통합 가능.
• 모듈러 아키텍처: 롤아웃 런타임(추론/시뮬레이션)과 진화 로직(진단/회복 생성)을 분리.