jaredrhod/barehands

解決する課題

標準的なWebカメラをハンドトラッキング可能な空間インターフェースに変換し、ユーザーはヘッドセット、コントローラー、グローブを使用せずに、画面上でノート、画像、3Dモデルなどのデジタルコンテンツを直接操作できるようになります。

仕組み

システムはハンドトラッキングに Google MediaPipe を、3Dレンダリングに three.js を使用し、どちらもCDN経由で読み込まれます。ローカルフォルダ（「vault」）からのファイルが浮遊するガラスカードとして表現される仮想の「ボード」を作成します。

ユーザーは特定のハンドジェスチャー（ピンチ、ドラッグ、フリック、拍手）を使用してこれらのカードとインタラクションします。このプロジェクトは、シンプルなプロトコルを介してAIの「脳」（ClaudeやローカルLLMなど）に接続できる「身体」として設計されています。AIはインターフェースの状態を更新する（例：思考中であることを示すために視覚的なリングを変更する）か、小さな状態ファイルに書き込むか、提供されたシェルスクリプトを使用することで、ボード上で特定のアクション（例：特定のノートを提示する、または3Dモデルを分解する）をトリガーできます。

ターゲットユーザー

AIアシスタントや個人のナレッジベース（Obsidian vaultなど）と触覚的かつ空間的な方法でインタラクションしたいと考える、開発者やAI愛好家向けに設計されています。

ハイライト

• 専用ハードウェア不要：任意のWebカメラとChromeブラウザで動作します。
• AIレディ：AIエージェントがボードを制御し、その状態を監視できるようにする一連のプロトコルとスクリプトを提供します。
• 空間ジェスチャー：遠くのオブジェクトを引き寄せる「クロー」や、3D分解図を展開するための2本指ドラッグなど、複雑なインタラクションを含みます。
• ナレッジ統合：ローカルフォルダからのMarkdownファイルをインタラクティブなカードとして直接レンダリングします。
• OBS統合：アルファチャンネル合成による高品質なストリーミングと録画のための、透明なミラーモードをサポートしています。