EMERGE-Policy/EMERGE-Policy

해결하는 문제

기존의 체화 지능은 로봇 제어를 위해 단일 엔드투엔드 모델을 사용합니다. 그러나 장기 작업에는 지속적인 저수준 인식, 고수준 계획, 세밀한 행동 생성이 필요합니다. 단일 모델은 이러한 상충하는 요구 사항의 균형을 맞추기 어려워 추론 혼란, 오차 누적, 작업 실패로 이어집니다. EMERGE-Policy는 단일 정책 접근 방식을 여러 전문 모델이 협업하는 시스템으로 대체하여, 지능이 단일 네트워크 내부가 아닌 모델 간의 조정에서 나타나도록 합니다.

작동 방식

EMERGE-Policy는 그래프 구조의 에이전트 런타임입니다. 기본 에이전트가 계획을 조정하고 여러 하위 에이전트가 인식, 검증, 행동을 처리합니다. 시스템은 외부 모델을 도구로 호출합니다. OpenPI 또는 Cosmos Policy가 행동을 생성하고, VGGT가 이미지에서 기하학적 구조를 추정하며, SAM3가 이미지 세그멘테이션을 수행합니다. 이러한 모델은 별도의 환경에서 지속적인 서비스로 실행되며 에이전트가 이를 비동기적으로 조정합니다. 웹 인터페이스(권장), 터미널 UI 또는 헤드리스 스크립트를 통해 상호 작용할 수 있습니다. 공유 드라이버가 LIBERO 및 LIBERO-Plus와 같은 로봇 환경을 관리하며 슬래시 명령을 통한 장면 재설정 및 전환을 지원합니다. 이 시스템은 원본 OpenPI VLA 버전과 최신 Cosmos Policy WAM 버전의 두 가지 백엔드를 지원합니다.

대상 사용자

체화 AI, 로봇 학습 또는 장기 조작 작업을 연구하는 연구원 및 개발자. 이 프로젝트는 표준 LIBERO 벤치마크에 대한 평가 제품군과 견고성 테스트를 제공하여 다중 정책 협업을 단일 정책 기준선과 비교하려는 사용자에게 적합합니다. Conda 환경, 모델 체크포인트 및 여러 GPU 서비스 실행에 익숙해야 합니다.

주요 특징

• 단일 엔드투엔드 정책을 협업하는 전문 모델(계획, 인식, 검증, 행동)의 그래프로 대체
• 두 가지 모델 백엔드 지원: OpenPI VLA 및 Cosmos Policy WAM (둘 다 격리된 모델 서버 및 배치 추론 제공)
• 세 가지 상호 작용 모드 제공: 라이브 카메라 뷰가 있는 웹 콘솔, 슬래시 명령이 있는 터미널 UI, 스크립트용 헤드리스 실행
• LIBERO, LIBERO-Plus 및 LIBERO-Pro 벤치마크에 대한 평가 지원 포함