jaredrhod/barehands

解决的问题

它将标准的网络摄像头转变为一个手部追踪空间界面，允许用户直接在屏幕上操作数字内容（如笔记、图像和 3D 模型），而无需佩戴头显、控制器或手套。

工作原理

该系统使用 Google MediaPipe 进行手部追踪，并使用 three.js 进行 3D 渲染，两者均通过 CDN 加载。它创建了一个虚拟“看板”，将本地文件夹（即“vault”）中的文件呈现为漂浮的玻璃卡片。

用户可以使用特定的手势（捏合、拖拽、轻弹和拍手）与这些卡片进行交互。该项目被设计为一个“身体”，可以通过简单的协议连接到 AI“大脑”（如 Claude 或本地 LLM）：AI 可以更新界面的状态（例如，改变视觉环以表示正在思考），或者通过写入小型状态文件或使用提供的 shell 脚本在看板上触发特定操作（例如，展示特定笔记或拆解 3D 模型）。

适用人群

专为构建者和 AI 爱好者设计，适合希望以触觉、空间的方式与其 AI 助手及个人知识库（如 Obsidian vault）进行交互的用户。

亮点

• 无需专用硬件：可与任何网络摄像头和 Chrome 浏览器配合使用。
• AI 就绪：提供了一组协议和脚本，允许 AI 代理控制看板并监控其状态。
• 空间手势：包含复杂的交互方式，例如用“爪子”手势拉近远处的物体，以及双指拖拽来展开 3D 爆炸视图。
• 知识集成：直接将本地文件夹中的 Markdown 文件渲染为交互式卡片。
• OBS 集成：支持透明镜像模式，可通过 Alpha 通道合成进行高质量的直播和录制。