oculus-samples/Unity-PassthroughCameraApiSamples

해결하는 문제

이 프로젝트는 Meta Quest 3 및 3S 헤드셋에서 원시 카메라 데이터에 접근할 수 있는 방법을 Unity 개발자에게 제공합니다. 정확한 타임스탬프, 카메라 메타데이터(내부 및 외부 파라미터), 양쪽 카메라 피드를 동시에 접근할 수 있도록 하여 디지털 콘텐츠를 현실 세계와 정확히 일치시키는 문제를 해결합니다.

작동 방식

혼합현실 유틸리티 킷(MRUK)의 PassthroughCameraAccess 컴포넌트를 사용합니다. 이 컴포넌트를 통해 개발자는 Unity 씬에 카메라 피드를 통합할 수 있으며, 이를 사용해 커스텀 GPU 효과, 환경 분석, 머신러닝 모델을 구현할 수 있습니다.

대상 사용자

Quest 3/3S 기기용 혼합현실(MR) 경험을 개발하고 있으며, 헤드셋의 카메라 텍스처와 포즈 정보에 직접 접근하여 고급 공간 인식 또는 컴퓨터 비전 작업을 수행해야 하는 Unity 개발자.

주요 특징

• 다중 객체 탐지: Unity Inference Engine(Sentis)를 사용하여 현실 세계의 객체 인식을 수행합니다.
• 카메라-세계 정렬: 2D 카메라 좌표를 3D 월드 공간 레이로 변환하여 정밀한 공간 매핑을 구현합니다.
• 환경 적응: 현실 세계 조명에 따라 경험을 조정하는 밝기 추정 샘플을 포함합니다.
• 커스텀 GPU 효과: 카메라 텍스처에 실시간 효과를 적용할 수 있는 쉐이더 샘플을 제공합니다.