google/xrblocks

XR Blocks is a lightweight WebXR + AI library for rapidly prototyping advanced AI + XR experiences.

解决的问题

XR Blocks 简化了构建集成 AI 的沉浸式 XR(扩展现实)应用程序的复杂过程。它提供了一个统一的跨平台框架,使开发人员能够创建交互式 3D 体验,这些体验可以在专用 XR 硬件和标准桌面浏览器上运行,而无需单独的代码库。

工作原理

XR Blocks 构建在 Three.js 库之上,提供了一个高级 SDK,抽象了处理空间输入和 AI 集成的困难。它包含一个用于快速测试的内置桌面模拟器,处理手部和头部手势识别,并提供空间 UI 系统。对于 AI 功能,它直接连接到 Gemini 进行多模态理解,使开发人员能够构建对话式、具有上下文感知能力的 XR 应用程序。

适用人群

该库专为希望原型设计和构建 AI 原生 XR 应用程序的开发人员和研究人员而设计。对于那些希望利用 AI 代理、基于手势的交互和空间计算而无需管理底层硬件 API 的人来说,它特别有用。

亮点

  • 支持 Android XR 设备和桌面 Chrome 浏览器的跨平台支持。
  • 先进的手势识别(捏合、手掌、拳头等)和头部运动(点头、摇头)。
  • 内置空间 UI 组件,如按钮、滑块和 flex 布局面板。
  • 与 Gemini 无缝集成,实现对话式 AI 和多模态场景理解。
  • 包含一个桌面模拟器,无需头显即可测试 XR 交互。
  • 提供专门的基准测试 (GenXR-Bench),用于评估 XR 开发中的 AI 编码代理。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目