SimWorld-AI/SimWorld

해결하는 문제

SimWorld는 현실적인 물리적 및 사회적 환경에서 LLM/VLM(대규모 언어 모델/시각-언어 모델) 에이전트의 개발과 평가를 위한 현실적이고 개방형 시뮬레이션 플랫폼입니다. 실제 세계에 배포할 때 발생할 수 있는 위험이나 비용 없이, 탐색, 계획, 전략적 협업과 같은 작업을 수행할 수 있는 복잡한 물리적 및 사회적 환경을 제공합니다.

작동 방식

Unreal Engine 5를 기반으로 한 이 플랫폼은 3계층 아키텍처를 사용합니다:

1. Unreal Engine 백엔드: 물리 시뮬레이션, 풍부한 자산, 환경을 처리합니다.
2. 환경 레이어: 절차적 도시 생성, 언어 기반 장면 편집을 관리하고, 에이전트 상호작용을 위한 Gym 유사 API를 제공합니다.
3. 에이전트 레이어: LLM/VLM 에이전트가 다중 모달 관측(RGB, 깊이, 세그멘테이션)을 처리하고, 로컬 액션 플래너를 통해 행동을 실행할 수 있도록 합니다.

사용자는 도시 장면의 기본 패키지에서 시작하거나, 100개 이상의 사전 구축된 맵과 사용자 고유의 환경 및 자산용 .pak 파일을 추가하여 시뮬레이션을 확장할 수 있습니다.

대상 사용자

Embodied AI, 자율 에이전트, 그리고 LLM 및 VLM의 다중 모달 추론에 종사하는 연구자 및 개발자들을 위한 것입니다.

주요 특징

• 다중 모달 인식: 에이전트 관측을 위한 RGB 이미지, 깊이 맵, 세그멘테이션 마스크를 지원합니다.
• 절차적 생성: 다양한 시나리오를 생성하기 위한 언어 기반 절차적 도시 생성 기능을 갖추고 있습니다.
• Gym 유사 인터페이스: 에이전트 학습 및 평가를 위한 익숙한 API를 제공합니다.
• 사용자 정의 가능: 사용자 고유의 Unreal Engine 환경, 자산, 에이전트 모델을 가져올 수 있습니다.
• 개방형 세계: 정확한 물리 시뮬레이션과 사회적 추론 시나리오를 결합하여 복잡한 행동 테스트가 가능합니다.