AgibotTech/genie_sim

해결하는 문제

Genie Sim은 신체적 지능(로보틱스)의 개발을 가속화하기 위해 설계된 포괄적인 시뮬레이션 플랫폼입니다. 물리적 하드웨어에 대한 의존도를 줄이기 위해 고정밀 환경 재구성, 합성 데이터 수집, 로봇 정책의 자동 평가를 위한 도구를 제공합니다.

작동 방식

이 플랫폼은 3D 가우시안 스플래팅을 활용한 3D 재구성과 시각적 생성 모델을 결합하여 사실감 있는 시뮬레이션 환경을 생성합니다. 자연어 프롬프트를 기반으로 LLM이 다양한 장면을 생성하고, ROS 2와 통합된 실시간(RT) 엔진을 통해 상호작용 가능한 시뮬레이션을 제공합니다. 또한 조작 및 인지 능력을 평가하기 위한 10만 개 이상의 시나리오를 포함한 벤치마크 세트를 제공합니다.

대상 사용자

신체적 AI에 집중하는 로봇 개발자 및 AI 연구자에게 적합합니다. 특히 대규모 합성 데이터셋을 생성하거나 실제 하드웨어에 배포하기 전에 로봇 정책을 검증해야 하는 사용자에게 이상적입니다.

주요 특징

• LLM 기반 장면 생성: 대화형 인터랙션을 통해 복잡한 시뮬레이션 장면을 즉시 생성 가능.
• 에이전트 준비형 SKILLs: AI 코드 에이전트(Claude Code 등)가 인간의 개입 없이 시뮬레이터를 조작할 수 있는 기계가독성 레시피.
• 고정밀 자산: 소매, 산업, 조리, 주거, 사무 환경을 아우르는 5,000개 이상의 검증된 3D 자산 라이브러리.
• 제로샷 시뮬레이션-리얼 전이: 높은 성공률로 모델의 능력을 실제 로봇에 전이할 수 있는 합성 데이터 생성.
• VLM 기반 자동 평가: 시각-언어 모델(VLM)을 활용한 자동 시스템으로 모델의 조작 및 인지 능력을 프로파일링.