google/xrblocks

解決的問題

XR Blocks 是為加速結合擴增實境（XR）與人工智慧（AI）的沉浸式體驗原型開發而設計。它透過提供一個輕量級、跨平台的程式庫，消除建構這些應用的複雜性，可在 XR 裝置（如 Android XR）與桌面瀏覽器上運作。

工作原理

基於 three.js 建構，此程式庫提供高階 SDK，抽象化 WebXR 的硬體特定複雜性。它透過 TensorFlow Lite/PyTorch 集成裝置端機器學習模型，用於手勢與頭部運動辨識，並連接至雲端主機的 Gemini 模型，實現多模態理解與對話式 AI。此外，也包含桌面模擬器，讓開發者無需實體 XR 抬頭顯示器即可測試體驗。

適用對象

對開發 AI 原生 XR 應用感興趣的開發者與研究人員，特別是針對 Chrome 與支援 WebXR 的裝置。

主要亮點

• AI 原生整合： 與 Gemini 無縫連接，支援多模態 AI 與即時對話。

• 高階互動： 內建手部追蹤、自訂手勢與頭部手勢辨識（點頭／搖頭）。

• 世界理解： 提供深度感測、平面偵測、場景網格與語意分割工具。

• 代理上下文： 提供面向代理的場景上下文，包含語意樹與 Set-of-Mark 截圖，協助 AI 代理理解 3D 環境。

• 統一互動： 單一管道處理滑鼠、凝視、手部射線與直接觸控。

• 空間 UI： 使用 flex-layout 面板組合世界空間卡片與檢視空間覆疊層的系統。