air-embodied-brain/Zetta-Embodiment
Zetta is an efficient closed-loop embodied harness for self-evolving physical intelligence. It evolves code-based runtime critics and recovery skills online while keeping the base policy frozen. Project Page: https://air-embodied-brain.github.io/zetta/
해결하는 문제
Zetta는 체화 AI 에이전트(로봇)가 기본 모델을 재훈련하지 않고도 행동을 스스로 진화시킬 수 있도록 하여 작업 성공률을 향상시키는 것을 목표로 합니다. 복잡한 물리적 작업에서 실패 복구 문제를 해결하기 위해 로봇이 실패한 이유를 진단하고 코드 기반 복구 스킬을 자동으로 생성하는 시스템을 구축합니다.
작동 방식
Zetta는 폐쇄 루프 "진화 프로토콜"을 사용하여 성능을 향상시킵니다. 기본 정책(동결 상태 유지)을 업데이트하는 대신 다음 프로세스를 통해 "런타임 크리틱"과 "복구 스킬"을 진화시킵니다:
- 실패 클러스터링: 비디오 및 원격 측정 데이터를 기반으로 실패한 시도를 클러스터로 그룹화합니다.
- 인과 진단: 진단 단계에서 실패의 특정 원인을 식별합니다.
- 후보 생성: 시스템이 실패를 감지하는 크리틱과 코드 기반 수정을 실행하는 복구 작업의 번들을 생성합니다.
- 검증: 새 스킬은 "섀도우 리플레이"와 특정 시드에 대한 게이트 검사를 통해 테스트되어 실제로 문제를 해결하고 회귀를 일으키지 않는지 확인합니다.
- 승격: 검증되면 스킬은 활성 런타임으로 승격됩니다.
대상 사용자
이 시스템은 비전-언어-행동(VLA) 모델과 LIBERO, RoboCasa, ManiSkill, BEHAVIOR과 같은 시뮬레이션 환경에서 로봇 조작을 연구하는 연구자와 개발자를 위해 구축되었습니다.
주요 특징
- 높은 성공률: LIBERO-Pro(90.8%) 및 RoboCasa(93.6%)에서 최첨단 결과를 달성.
- 추론 속도 향상: 기존 방법 대비 11.1배 추론 속도 향상을 제공.
- 광범위한 환경 지원: Isaac Sim, OmniGibson, SAPIEN을 포함한 여러 시뮬레이터와 통합.
- 모듈식 런타임: 별도의 Rollout Runtime을 사용하여 시뮬레이터 워커와 모델 추론 워커를 분리.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트