google/xrblocks

解决的问题

XR Blocks 旨在加速结合扩展现实（XR）与人工智能（AI）的沉浸式体验的原型开发。它通过提供一个轻量级、跨平台的库，消除了构建这些应用的复杂性，可在 XR 设备（如 Android XR）和桌面浏览器上运行。

工作原理

基于 three.js 构建，该库提供了一个高级 SDK，抽象了 WebXR 的硬件特定复杂性。它通过 TensorFlow Lite/PyTorch 集成设备端机器学习模型，用于手势和头部运动识别，并连接到云端托管的 Gemini 模型，实现多模态理解与对话式 AI。此外，还包含一个桌面模拟器，使开发者无需物理 XR 头显即可测试体验。

适用人群

对创建 AI 原生 XR 应用感兴趣的开发者和研究人员，特别是针对 Chrome 和支持 WebXR 的设备。

主要亮点

• AI 原生集成： 与 Gemini 无缝连接，支持多模态 AI 和实时对话。

• 高级交互： 内置手部追踪、自定义手势和头部手势识别（点头/摇头）。

• 世界理解： 提供深度感知、平面检测、场景网格和语义分割工具。

• 代理上下文： 提供面向代理的场景上下文，包括语义树和 Set-of-Mark 截图，帮助 AI 代理理解 3D 环境。

• 统一交互： 单一管道处理鼠标、凝视、手部射线和直接触摸。

• 空间 UI： 使用 flex-layout 面板构建世界空间卡片和视图空间叠加层的系统。