google/xrblocks
XR Blocks is a lightweight WebXR + AI library for rapidly prototyping advanced AI + XR experiences.
解决的问题
XR Blocks 简化了构建集成 AI 的沉浸式 XR(扩展现实)应用程序的复杂过程。它提供了一个统一的跨平台框架,使开发人员能够创建交互式 3D 体验,这些体验可以在专用 XR 硬件和标准桌面浏览器上运行,而无需单独的代码库。
工作原理
XR Blocks 构建在 Three.js 库之上,提供了一个高级 SDK,抽象了处理空间输入和 AI 集成的困难。它包含一个用于快速测试的内置桌面模拟器,处理手部和头部手势识别,并提供空间 UI 系统。对于 AI 功能,它直接连接到 Gemini 进行多模态理解,使开发人员能够构建对话式、具有上下文感知能力的 XR 应用程序。
适用人群
该库专为希望原型设计和构建 AI 原生 XR 应用程序的开发人员和研究人员而设计。对于那些希望利用 AI 代理、基于手势的交互和空间计算而无需管理底层硬件 API 的人来说,它特别有用。
亮点
- 支持 Android XR 设备和桌面 Chrome 浏览器的跨平台支持。
- 先进的手势识别(捏合、手掌、拳头等)和头部运动(点头、摇头)。
- 内置空间 UI 组件,如按钮、滑块和 flex 布局面板。
- 与 Gemini 无缝集成,实现对话式 AI 和多模态场景理解。
- 包含一个桌面模拟器,无需头显即可测试 XR 交互。
- 提供专门的基准测试 (GenXR-Bench),用于评估 XR 开发中的 AI 编码代理。
相关
- 项目
yeahhe365/Gemini-NexusGemini Nexus 是一款 Chrome MV3 扩展,为浏览器添加原生 AI 助手。它支持 Google Gemini(通过逆向工程令牌的网页界面和官方 API)以及许多 OpenAI 兼容服务。该扩展提供侧边面板、浮动选择工具栏、图像/截图输入,以及基于 Chrome DevTools 的控制循环,使 LLM 能够导航页面、点击元素、填写表单、运行脚本和调用外部工具服务器(MCP)。它包括上下文管理功能、Gemini 图像的水印去除,以及完整的构建/发布工作流。Gemini-Web 集成可能违反 Google 的服务条款,因此用户必须接受相关风险。
- 项目
- 项目
googleapis/js-genai官方 Google npm SDK (`@google/genai`),封装了 Gemini 的公共 API 与企业级 Agent API,适用于 JavaScript/TypeScript。提供简单的类以进行单次生成、流式传输、有状态聊天、文件上传、实时会话以及统一的 Interactions API。支持函数/工具调用、自动续写与多模态输入。使用 `npm i @google/genai` 安装;可使用 API 密钥或企业凭据。文档与示例请参阅仓库网站。
- 项目
google/agents-cliagents‑cli 是 Google 维护的 CLI(以及用于 AI 编码助手的技能包),可简化基于 Gemini 的 AI 代理的整个生命周期——从项目脚手架和本地评估到云部署、CI/CD 和可观测性。
- 项目
simonw/llm-gemini一个用于 llm CLI 工具的插件,可实现对 Google Gemini 模型的无缝访问,包括对多模态输入、Google 搜索接地、代码执行和向量嵌入的支持。