katipally/openlive
Opensource, on-device voice + vision layer for AI agents. Bring any model or coding agent; the whole speech loop (VAD, STT, TTS, barge-in) runs locally. An open alternative to ElevenLabs Agents, Gemini Live, and OpenAI Realtime.
해결하는 문제
음성과 시각을 통해 AI 에이전트와 상호 작용하는 것은 일반적으로 비용이 많이 들며 클라우드 호스팅 플랫폼으로 오디오 데이터를 전송해야 합니다. OpenLive는 이러한 독점적인 종량제 파이프라인을 로컬 오픈 소스 대안으로 대체하여 모든 음성 활동 감지, 음성 인식(STT), 음성 합성(TTS) 처리를 사용자의 컴퓨터에서 직접 수행합니다.
작동 방식
OpenLive는 AI를 위한 로컬 "귀, 입, 눈" 레이어 역할을 합니다. 캐스케이드 파이프라인(음성 인식 -> 모델 -> 음성 합성)을 사용하여 상호 작용을 처리합니다. 다양한 AI 모델에 대한 자체 API 키를 연결하거나 Agent Client Protocol을 사용하여 기존 코딩 에이전트(Claude Code 또는 Cursor 등)에 연결할 수 있습니다. 로컬에서 실행되기 때문에 오디오가 컴퓨터를 떠나지 않으며, 최종 텍스트와 선택적인 시각적 프레임만 AI 제공업체로 전송됩니다.
대상 사용자
코딩 에이전트를 음성으로 제어하거나, 기기 작업을 자동화하거나, 클라우드 기반 음성 플랫폼에 개인 정보를 희생하거나 분당 오디오 요금을 지불하지 않고 텍스트를 받아쓰고 싶은 개발자 및 파워 유저를 위한 것입니다.
주요 특징
- 세 가지 모드: Chat(음성 통화), Flow(기기에서 작업을 수행할 수 있는 시스템 전체 음성 어시스턴트), Dictate(모든 입력 필드에 대한 음성 텍스트 변환).
- 로컬 처리: 음성 활동 감지, 음성 인식(Whisper/Nemotron 등), 음성 합성(Kokoro/Piper 등)이 모두 사용자의 하드웨어에서 실행됩니다.
- 에이전트 통합: Claude Code, GitHub Copilot, Cursor와 같은 코딩 에이전트와 함께 작동하여 음성으로 작업을 구동하고 진행 상황을 음성으로 들을 수 있습니다.
- 개인 정보 보호 우선: 오디오가 기기를 떠나지 않으며, API 키는 저장 시 암호화됩니다.
- 사용자 정의 가능: 음성 복제, 다국어 지원, 에이전트에 대한 특정 도구 및 기능 전환 기능을 지원합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트