xrdevrob/QuestCameraKit

해결하는 문제

QuestCameraKit은 Meta Quest 3 및 3S에서 물리적 환경과 상호작용할 수 있도록 디바이스의 카메라를 활용하는 혼합현실(MR) 경험을 개발하는 데 도움을 주는 Unity 샘플 모음입니다. 실시간 물체 감지, QR 코드 추적, 현실 세계 색상 샘플링과 같은 컴퓨터 비전 작업의 구현을 간소화하며, 환경 인식을 위한 다중 모달 AI 통합도 가능하게 합니다.

작동 방식

이 프로젝트는 Meta Passthrough Camera API 및 기타 전용 도구를 활용하는 Unity 장면의 모음입니다. 여러 가지 독립적인 워크플로우를 구현합니다:

• 컴퓨터 비전: Unity Inference Engine를 사용해 YOLO 모델을 실시간으로 실행하여 물체 감지, Meta MRUK를 사용해 네이티브 QR 코드 추적을 구현합니다.
• 다중 모달 AI: OpenAI와 연동하여 카메라 프레임과 음성 녹음을 전송해 시각적 질문에 응답하고 텍스트를 음성으로 변환하는 기능을 제공합니다.
• 시각 효과: 스테레오 카메라 매핑, 흐린 유리, 포탈 효과를 위한 사용자 정의 쉐이더를 구현합니다.
• 연결성: SimpleWebRTC 및 Unity WebRTC를 사용해 카메라 영상을 외부 피어로 스트리밍합니다.
• 환경 상호작용: 환경 레이캐스팅과 카메라 픽셀 샘플링을 결합해 실제 세계에서 색상을 선택합니다.

대상 사용자

Meta Quest 3/3S용 Unity 개발자 중 카메라 기반 비전, AI, 스트리밍 기능을 혼합현실 애플리케이션에 통합하고자 하는 사용자입니다.

주요 기능

• 실시간 물체 감지: 3D 공간에 감지 마커를 투영하기 위한 통합된 YOLO 모델.
• 다중 모달 AI 통합: OpenAI를 사용한 음성 → 텍스트 및 이미지 → 텍스트 파이프라인.
• 네이티브 QR 추적: Meta MRUK를 사용한 QR 코드의 공간 추적.
• 카메라 기반 쉐이더: 흐린 유리와 같은 MR 효과를 위한 특수한 재질.
• WebRTC 스트리밍: 헤드셋의 카메라 피드를 다른 장치로 스트리밍할 수 있는 기능.