oculus-samples/Unity-PassthroughCameraApiSamples

何を解決するか

このプロジェクトは、Meta Quest 3および3Sヘッドセットからの生のカメラデータにアクセスする方法をUnity開発者に提供します。デジタルコンテンツを現実世界と正確に一致させる問題を解決し、正確なタイムスタンプ、カメラメタデータ（内部パラメータと外部パラメータ）、および左右のカメラフィードを同時にアクセスできるようにします。

動作方法

Mixed Reality Utility Kit (MRUK) の PassthroughCameraAccess コンポーネントを使用しています。このコンポーネントにより、開発者はUnityシーンにカメラフィードを統合でき、カスタムGPUエフェクト、環境分析、機械学習モデルに活用できます。

対象ユーザー

Quest 3/3Sデバイス向けのミックスドリアリティ（MR）体験を開発しており、ヘッドセットのカメラテクスチャおよびポーズ情報を直接取得して、高度な空間認識やコンピュータビジョンタスクに活用したいUnity開発者。

主な特徴

• 複数オブジェクト検出: Unity Inference Engine (Sentis) を使用して現実世界のオブジェクト認識を実行。
• カメラから世界へのアライメント: 2Dカメラ座標を3Dワールド空間のレイに変換し、正確な空間マッピングを実現。
• 環境適応: 実世界の照明に応じて体験を調整するための明るさ推定サンプルを含む。
• カスタムGPUエフェクト: カメラテクスチャにリアルタイムエフェクトを適用するためのシェーダーのサンプルを提供。