spear-sim/spear

해결하는 문제

SPEAR는 기존의 사진처럼 생긴 시뮬레이터들이 일반성 부족, 프로그래밍 가능성 낮음, 렌더링 속도 느림 등의 한계를 해결합니다. Python을 사용해 어떤 Unreal Engine (UE) 애플리케이션도 프로그래밍적으로 제어할 수 있도록 하여, 에이전트 기반 AI 연구를 위한 복잡하고 결정론적인 시뮬레이션을 구축할 수 있습니다.

작동 방식

SPEAR는 모듈식 플러그인 아키텍처를 통해 Unreal Engine 애플리케이션에 연결되는 Python 라이브러리입니다. UE의 리플렉션 시스템에서 볼 수 있는 C++ 함수와 변수에 접근할 수 있도록 Python에 14,000개 이상의 고유한 UE 함수를 노출합니다. 작업은 begin_frame 및 end_frame 컨텍스트 내에서 정의되는 트랜잭션 기반 프로그래밍 모델을 사용하여, 단일 UE 프레임 내에서 결정론적 실행을 보장합니다.

대상 사용자

에이전트 기반 AI, 합성 데이터 생성, 로보틱스 분야의 연구자들을 위한 것입니다. 장면과 에이전트에 대해 깊은 프로그래밍 제어가 필요한 고정밀도, 사진처럼 생긴 환경이 필요하신 분들께 적합합니다.

주요 특징

• 고성능 렌더링: 1920x1080 사진처럼 생긴 이미지를 NumPy 배열로 73 FPS로 직접 렌더링합니다.
• 광범위한 API: 14,000개 이상의 UE 함수를 노출하여 이전 시뮬레이터보다 훨씬 더 많은 프로그래밍 기능을 제공합니다.
• 고급 센서 모달리티: 깊이, 표면 법선, 세그멘테이션 ID, 비확산적 인트리닉 이미지 분해와 같은 정확한 진실 데이터를 제공합니다.
• 유연한 에이전트 제어: 다양한 UE 프로젝트에서 인간, 차량, 로봇 등 다양한 에이전트를 제어할 수 있습니다.
• 공시뮬레이션 지원: MuJoCo와 같은 외부 물리 시뮬레이터와 연동 가능합니다.
• 자연어 인터페이스: AI 코딩 어시스턴트를 통해 자연어 프롬프트를 통해 에이전트 기반 장면 편집을 지원합니다.