xrdevrob/QuestCameraKit

何を解決するか

QuestCameraKit は、Meta Quest 3 および 3S で混在現実（MR）体験を構築する開発者を支援するための Unity サンプルのコレクションです。デバイスのカメラを使用して物理環境と対話できるようにします。コンピュータビジョンタスク（物体検出、QR コード追跡、現実世界の色サンプリング）の実装を簡素化し、環境認識に向けたマルチモーダル AI の統合も可能にします。

動作方法

このプロジェクトは、Meta パススルー カメラ API およびその他の専用ツールを活用する Unity シーンのコレクションです。複数の異なるワークフローを実装しています：

• コンピュータビジョン：Unity Inference Engine を使用して YOLO モデルをリアルタイムで実行し、物体検出を実現。Meta MRUK を使用してネイティブな QR コード追跡を実現。
• マルチモーダル AI：OpenAI と連携し、カメラフレームと音声録音を送信して視覚的質問に応答し、テキストから音声への変換（TTS）を実行。
• ビジュアルエフェクト：ステレオカメラマッピング、曇りガラス、ポータルエフェクト用のカスタムシェーダーを実装。
• 接続性：SimpleWebRTC および Unity WebRTC を使用して、カメラ映像を外部のピアにストリーミング。
• 環境とのインタラクション：環境のレイキャスティングとカメラピクセルのサンプリングを組み合わせ、物理世界から色を取得。

対象ユーザー

Meta Quest 3/3S 用の Unity 開発者で、カメラベースのビジョン、AI、ストリーミング機能を混在現実アプリに統合したい方。

主な特徴

• リアルタイム物体検出：3D 空間に検出マーカーを投影するためのバンドル済み YOLO モデル。
• マルチモーダル AI 統合：OpenAI を使用した音声からテキスト、画像からテキストへのパイプライン。
• ネイティブ QR 追跡：Meta MRUK を使用した QR コードの空間追跡。
• カメラベースのシェーダー：曇りガラスなどの MR エフェクト用の特別なマテリアル。
• WebRTC ストリーミング：ヘッドセットのカメラ映像を他のデバイスにストリーミング可能。