oculus-samples/Unity-PassthroughCameraApiSamples

解決的問題

本專案為 Unity 開發者提供了一種存取 Meta Quest 3 與 3S 頭戴裝置原始相機資料的方法。透過提供精確的時間戳記、相機元資料（內參與外參），以及左右相機畫面的同時存取，解決了將數位內容與現實世界對齊的問題。

作法原理

使用 Mixed Reality Utility Kit (MRUK) 中的 PassthroughCameraAccess 元件。此元件讓開發者能將相機畫面整合至 Unity 場景中，進而用於自訂 GPU 效果、環境分析與機器學習模型。

適用對象

正在為 Quest 3/3S 裝置開發混合實境（MR）體驗的 Unity 開發者，需要直接存取頭戴裝置的相機紋理與姿態資訊，以進行高階空間感知或電腦視覺任務。

主要特色

• 多物件檢測：使用 Unity Inference Engine (Sentis) 進行現實世界物件辨識。
• 相機到世界對齊：將 2D 相機座標轉換為 3D 世界空間射線，實現精確的空間映射。
• 環境適應：包含亮度估計範例，可根據現實世界光照調整體驗。
• 自訂 GPU 效果：提供著色器範例，用於對相機紋理套用即時效果。