oculus-samples/Unity-PassthroughCameraApiSamples

解决的问题

本项目为 Unity 开发者提供了一种访问 Meta Quest 3 和 3S 头显原始摄像头数据的方法。它通过提供精确的时间戳、摄像头元数据（内参和外参），以及左右摄像头画面的同时访问，解决了将数字内容与现实世界对齐的问题。

工作原理

它利用了 Mixed Reality Utility Kit (MRUK) 中的 PassthroughCameraAccess 组件。该组件允许开发者将摄像头画面集成到 Unity 场景中，进而用于自定义 GPU 效果、环境分析和机器学习模型。

适用人群

正在为 Quest 3/3S 设备开发混合现实（MR）体验的 Unity 开发者，需要直接访问头显的摄像头纹理和姿态信息，以实现高级空间感知或计算机视觉任务。

主要亮点

• 多对象检测：使用 Unity Inference Engine (Sentis) 执行现实世界对象识别。
• 相机到世界对齐：将 2D 相机坐标转换为 3D 世界空间射线，实现精确的空间映射。
• 环境自适应：包含亮度估计示例，可根据现实世界光照调整体验。
• 自定义 GPU 效果：提供一个着色器示例，用于对摄像头纹理应用实时效果。