jaredrhod/barehands

解決的問題

它將標準網路攝影機轉變為具備手部追蹤功能的空間介面，讓使用者能直接在螢幕上操作數位內容（如筆記、影像和 3D 模型），而無需佩戴頭戴式裝置、控制器或手套。

運作方式

該系統使用 Google MediaPipe 進行手部追蹤，並使用 three.js 進行 3D 渲染，兩者皆透過 CDN 載入。它建立了一個虛擬「看板」，將本地資料夾（即「vault」）中的檔案呈現為漂浮的玻璃卡片。

使用者可以透過特定的手勢（捏合、拖曳、滑動和拍手）與這些卡片互動。本專案被設計為一個「身體」，可透過簡單的協定連接到 AI「大腦」（如 Claude 或本地 LLM）：AI 可以更新介面的狀態（例如：改變視覺環以表示正在思考），或透過寫入小型狀態檔案或使用提供的 shell 腳本，在看板上觸發特定動作（例如：展示特定筆記或拆解 3D 模型）。

適用對象

專為開發者與 AI 愛好者設計，適合希望以觸覺、空間的方式與其 AI 助理及個人知識庫（如 Obsidian vault）互動的使用者。

特色

• 無需專用硬體：可與任何網路攝影機和 Chrome 瀏覽器搭配使用。
• AI 就緒：提供一組協定與腳本，允許 AI 代理程式控制看板並監控其狀態。
• 空間手勢：包含複雜的互動方式，例如用「爪子」手勢拉近遠處物體，以及雙指拖曳來展開 3D 拆解圖。
• 知識整合：直接將本地資料夾中的 Markdown 檔案渲染為互動式卡片。
• OBS 整合：支援透明鏡像模式，可透過 Alpha 通道合成進行高品質的直播與錄影。