xrdevrob/QuestCameraKit

解決的問題

QuestCameraKit 提供一組 Unity 範例，協助開發者在 Meta Quest 3 和 3S 上建構能利用裝置相機與物理環境互動的混合實境（MR）體驗。它簡化了物件檢測、QR 碼追蹤、現實世界色彩取樣等電腦視覺任務的實作，同時支援整合多模態 AI 以實現環境感知。

作法說明

此專案是一組利用 Meta 透視相機 API 及其他專用工具的 Unity 場景集合。實作了多個獨立的工作流程：

• 電腦視覺：使用 Unity Inference Engine 執行 YOLO 模型進行即時物件檢測，並使用 Meta MRUK 實作原生 QR 碼追蹤。
• 多模態 AI：與 OpenAI 整合，傳送相機畫面與語音錄音，實現視覺提問與文字轉語音回應。
• 視覺效果：實作用於立體相機映射、磨砂玻璃與門戶效果的自訂著色器。
• 連接性：使用 SimpleWebRTC 與 Unity WebRTC 將相機影像串流至外部對等端。
• 環境互動：結合環境射線投射與相機像素取樣，從現實世界中擷取顏色。

適用對象

希望在 Meta Quest 3/3S 上的 Unity 應用中整合基於相機的視覺、AI 與串流功能的開發者。

主要特色

• 即時物件檢測：內建 YOLO 模型，可將檢測標記投射至 3D 空間中。
• 多模態 AI 整合：使用 OpenAI 實作語音轉文字與影像轉文字的流程。
• 原生 QR 追蹤：使用 Meta MRUK 實作 QR 碼的空間追蹤。
• 基於相機的著色器：專為磨砂玻璃等 MR 效果設計的特殊材質。
• WebRTC 串流：可將頭戴裝置的相機畫面串流至其他裝置。