unrealcv/unrealcv

무엇을 해결하는가

UnrealCV는 Unreal Engine (UE)과 PyTorch 또는 TensorFlow와 같은 외부 AI 프레임워크 간의 가교 역할을 하여, 컴퓨터 비전 연구자들이 가상 세계를 합성 데이터 소스나 AI 에이전트를 위한 훈련 환경으로 생성하고 사용할 수 있도록 합니다.

작동 방식

Unreal Engine의 플러그인으로 작동하며 게임 엔진과 외부 프로그램 간의 통신을 가능하게 합니다. 가상 세계와 상호작용하고, 카메라를 제어하며, 객체를 조작하기 위한 일련의 특정 명령어를 제공합니다. 사용자는 UnrealCV가 내장된 사전 컴파일된 게임 바이너리를 사용하거나, 엔진에 플러그인을 설치하여 자신만의 맞춤형 환경을 구축할 수 있습니다.

대상 사용자

AI 모델의 훈련 및 테스트를 위해 고충실도 합성 환경이 필요한 컴퓨터 비전 연구자, 특히 인지 및 상호작용에 집중하는 연구자들을 대상으로 합니다.

주요 특징

• Engine Integration: Unreal Engine 5.2 이상을 지원합니다.
• External Control: 명령 시스템을 통해 외부 프로그램이 가상 세계를 프로그래밍 방식으로 제어할 수 있도록 합니다.
• Synthetic Data: 데이터셋 생성을 위한 optical flow 이미지 캡처 및 사실적인 렌더링을 지원합니다.
• Blueprint Integration: Python에서 Blueprint 함수를 직접 호출할 수 있습니다.
• Flexible Deployment: 개발자를 위한 플러그인과 엔진 비사용자를 위한 사전 구축된 바이너리 형태 모두로 제공됩니다.