ShayneP/local-voice-ai

해결하는 문제

Local Voice Agent는 자체 하드웨어에서 완전히 작동하는 사생활 보호형 저지연 음성 보조자입니다. 클라우드 기반 음성 서비스의 필요성을 제거하고, 음성 인식, 언어 모델, 음성 생성을 하나의 감시형 애플리케이션에 통합합니다.

작동 방식

이 프로젝트는 로컬 AI 모델의 모듈식 스택을 사용하여 음성 상호작용 루프를 처리합니다:

• 음성 인식 (STT): 사용자가 말하는 동안 부분적인 전사본을 전송하여 낮은 지연을 보장하기 위해 Nemotron Q8을 스트리밍 인식에 사용 (Whisper는 수동 백업으로 사용).
• 언어 모델 (LLM): 선택된 하드웨어 프로파일에 따라 Qwen3 또는 Gemma 4와 같은 로컬 LLM을 실행하기 위해 llama.cpp를 사용합니다.
• 음성 생성 (TTS): 로컬 음성 합성에 Kokoro (또는 Kokoro ONNX)를 사용합니다.
• 오케스트레이션: LiveKit Agents로 실시간 통신과 스트리밍을 관리합니다.

대상 사용자

오프라인 또는 로컬 네트워크에서 작동하는 사생활 보호형 음성 보조자를 원하는 사용자. 특히 NVIDIA GPU, Apple Silicon, 또는 NVIDIA Jetson Orin Nano 장치를 보유한 사용자에게 적합합니다.

주요 특징

• 하드웨어 인식 프로파일: 감지된 메모리 용량과 장치 유형에 따라 자동으로 모델 스택(경량, 컴팩트, 균형)을 선택합니다.
• 저지연: Nemotron을 통한 스트리밍 음성 인식으로 전통적인 '발화 완료 후 대기' 시스템보다 빠른 응답이 가능합니다.
• 크로스플랫폼 지원: Linux CPU, NVIDIA 데스크톱, Apple Silicon, Jetson Orin용 네이티브 설정을 지원합니다.
• 원격 클라이언트 모드: 고성능 장치(예: Jetson)에서 음성 서버를 실행하고 사용자 인터페이스는 노트북 브라우저에서 작동할 수 있습니다.
• 유연한 구성: 환경 변수를 통해 로컬 서비스를 외부 API(예: LiveKit Cloud)로 교체할 수 있습니다.