xrdevrob/QuestCameraKit

解决的问题

QuestCameraKit 提供了一组 Unity 示例，帮助开发者在 Meta Quest 3 和 3S 上构建能够利用设备摄像头与物理环境互动的混合现实（MR）体验。它简化了物体检测、QR 码追踪、现实世界颜色采样等计算机视觉任务的实现，同时支持集成多模态 AI 以实现环境感知。

工作原理

该项目是一组利用 Meta 透视相机 API 及其他专用工具的 Unity 场景集合。实现了多个独立的工作流：

• 计算机视觉：使用 Unity Inference Engine 运行 YOLO 模型进行实时物体检测，并使用 Meta MRUK 实现原生 QR 码追踪。
• 多模态 AI：与 OpenAI 集成，发送相机帧和语音录音，实现视觉问答及文本转语音响应。
• 视觉效果：实现用于立体相机映射、磨砂玻璃和门户效果的自定义着色器。
• 连接性：使用 SimpleWebRTC 和 Unity WebRTC 将相机视频流式传输到外部对等端。
• 环境交互：结合环境射线投射与相机像素采样，从物理世界中选取颜色。

适用人群

希望在 Meta Quest 3/3S 上的 Unity 应用中集成基于摄像头的视觉、AI 和流媒体功能的开发者。

主要亮点

• 实时物体检测：内置 YOLO 模型，可将检测标记投射到 3D 空间中。
• 多模态 AI 集成：使用 OpenAI 实现语音转文本和图像转文本的管道。
• 原生 QR 追踪：使用 Meta MRUK 实现 QR 码的空间追踪。
• 基于摄像头的着色器：专为磨砂玻璃等 MR 效果设计的特殊材质。
• WebRTC 流媒体：可将头显的摄像头画面流式传输到其他设备。