moritzkremb/jev-voice-browser

해결하는 문제

이 프로젝트는 음성 명령을 사용하여 실시간으로 웹 브라우저를 제어하는 방법을 제공합니다. 사용자는 핸즈프리로 웹사이트 탐색, 정보 검색, 요소 클릭, 탭 관리를 수행할 수 있으며, 사용자가 문장을 끝내기 전에도 명령을 실행할 수 있는 능력을 갖추고 있습니다.

작동 원리

이 시스템은 Node.js 서버를 사용하여 Playwright를 통해 Chromium 창을 제어합니다. 브라우저의 Web Speech API에서 음성을 서버로 스트리밍하고, 이를 Jev 모델 (TypeSafe 제작) 로 전송합니다.

모델은 텍스트를 생성하는 대신 일련의 유형화된 질문 (예: "이것이 명령인가요?", "의도가 무엇인가요?") 에 답변하여 동작을 결정합니다. 서버는 현재 페이지의 상태, 사용 가능한 요소의 스냅샷, 최근 동작의 기록을 유지하여 "아니요, 다른 거요"와 같은 문맥 의존적 명령을 해결합니다. 정책 엔진은 실행할지, 더 많은 음성을 기다릴지, 또는 파괴적인 동작에 대해 확인을 요청할지 결정합니다.

대상 사용자

음성 제어 웹 브라우징 경험을 원하는 사용자, LLM 기반 브라우저 자동화에 관심이 있는 개발자, 실시간 인터페이스를 위한 저지연 의도 인식 기술을 탐구하는 분들.

주요 특징

• 실시간 실행: 부분적인 전사 내용을 바탕으로 즉시 행동하여 체감 지연 시간을 줄입니다.
• 문맥 인식: 이전 페이지와 동작을 기억하여 수정 사항 및 상대적 참조를 처리합니다.
• 텍스트 생성 제로: 생성형 텍스트 대신 유형화된 확률을 사용하여 신뢰성을 보장하고 검색 쿼리와 URL을 정확하게 추출합니다.
• 안전 게이트: 파괴적인 동작 (주문하기 등) 에 대해서는 음성 확인을 요구합니다.
• 모호성 해결: 모델이 클릭할 요소를 확신할 수 없는 경우 웹페이지에 번호가 매겨진 오버레이를 제공합니다.