Intent-Lab/VisionClaw

해결하는 문제

VisionClaw는 Meta Ray-Ban 스마트 안경을 실시간 AI 어시스턴트로 변환합니다. 사용자가 음성으로 환경과 상호작용할 수 있게 하여, AI가 사용자가 보는 것을 인식하고 다양한 앱 및 서비스에서 대신 행동을 수행할 수 있게 합니다.

작동 방식

이 시스템은 Meta Wearables DAT SDK와 WebSocket 연결을 통해 Gemini Live API를 통합합니다. 앱은 마이크에서 오는 오디오와 안경 카메라에서 캡처한 비디오 프레임(약 1fps로 제한)을 수집하여, 실시간 시각 및 청각적 맥락을 Gemini에 스트리밍합니다.

행동 수행을 가능하게 하기 위해, 프로젝트는 선택적으로 OpenClaw와 통합합니다. OpenClaw는 로컬 게이트웨이로, Gemini가 56개 이상의 도구와 연결된 앱에 접근할 수 있도록 하여 메시지 전송, 쇼핑 리스트 관리, 웹 검색 등의 작업을 수행할 수 있게 합니다.

대상 사용자

신체적 AI, 스마트 안경 통합, 실시간 다모달 AI 에이전트에 관심 있는 개발자 및 연구자.

주요 특징

• 실시간 다모달 상호작용: 별도의 음성-텍스트 변환 단계 없이 Gemini Live의 네이티브 오디오 및 비전 처리를 사용.
• 에이전트 기능: OpenClaw와 통합하여 메시징 앱, 스마트 홈 장치, 노트 등에서 실제 세계 작업을 수행 가능.
• 크로스플랫폼 지원: iOS 및 Android 모두 지원.
• POV 스트리밍: WebRTC 구현을 통해 안경의 시점(POV)을 브라우저에서 실시간으로 공유 가능.
• 휴대폰 모드: 스마트 안경 대신 스마트폰 카메라를 사용하여 전체 파이프라인을 테스트 가능.