jaredrhod/barehands

해결하는 문제

표준 웹캠을 손 추적 공간 인터페이스로 변환하여, 사용자가 헤드셋, 컨트롤러 또는 글러브 없이도 화면에서 노트, 이미지 및 3D 모델과 같은 디지털 콘텐츠를 직접 조작할 수 있도록 합니다.

작동 방식

이 시스템은 손 추적을 위해 Google MediaPipe를 사용하고 3D 렌더링을 위해 three.js를 사용하며, 둘 다 CDN을 통해 로드됩니다. 로컬 폴더("vault")의 파일이 떠 있는 유리 카드로 표현되는 가상 "보드"를 생성합니다.

사용자는 특정 손 제스처(집기, 끌기, 튕기기, 박수)를 사용하여 이러한 카드와 상호 작용합니다. 이 프로젝트는 간단한 프로토콜을 통해 AI "뇌"(예: Claude 또는 로컬 LLM)에 연결할 수 있는 "몸"으로 설계되었습니다. AI는 인터페이스의 상태를 업데이트(예: 생각 중임을 나타내기 위해 시각적 링 변경)하거나, 작은 상태 파일에 쓰거나 제공된 셸 스크립트를 사용하여 보드에서 특정 작업(예: 특정 노트 표시 또는 3D 모델 분해)을 트리거할 수 있습니다.

대상 사용자

AI 어시스턴트 및 개인 지식 베이스(예: Obsidian vault)와 촉각적이고 공간적인 방식으로 상호 작용하고자 하는 빌더 및 AI 애호가를 위해 설계되었습니다.

주요 기능

• 전문 하드웨어 불필요: 모든 웹캠 및 Chrome 브라우저에서 작동합니다.
• AI 준비 완료: AI 에이전트가 보드를 제어하고 상태를 모니터링할 수 있는 프로토콜 및 스크립트 세트를 제공합니다.
• 공간 제스처: 멀리 있는 물체를 끌어오는 "발톱" 제스처와 3D 분해도를 확대하기 위한 두 손가락 드래그와 같은 복잡한 상호 작용을 포함합니다.
• 지식 통합: 로컬 폴더의 Markdown 파일을 대화형 카드로 직접 렌더링합니다.
• OBS 통합: 알파 채널 합성을 통한 고품질 스트리밍 및 녹화를 위한 투명 미러 모드를 지원합니다.