jamiepine/voicebox

해결하는 문제

Voicebox는 음성 입력(음성 인식)과 음성 출력(텍스트 음성 변환)을 위한 통합 인터페이스를 제공하는 로컬 우선 AI 음성 스튜디오입니다. ElevenLabs나 WisprFlow와 같은 클라우드 서비스에 의존할 필요 없이, 사용자의 기기에서 직접 음성을 복제하고, 표현력이 풍부한 음성을 생성하며, 모든 애플리케이션에 텍스트를 받아쓰기할 수 있어 완벽한 개인정보 보호를 보장합니다.

작동 방식

이 애플리케이션은 다양한 작업을 위해 일련의 로컬 AI 모델을 실행합니다:

• TTS 엔진: 7가지의 서로 다른 텍스트 음성 변환 엔진(Qwen3-TTS, Kokoro, HumeAI TADA 포함)을 번들로 제공하여 다국어 복제 및 표현력 있는 음성을 처리합니다.
• STT 엔진: OpenAI Whisper를 사용하여 받아쓰기 및 녹음을 고정밀도로 전사합니다.
• 로컬 LLM: 번들된 Qwen3 LLM을 사용하여 받아쓰기 내용을 다듬고(말더듬 제거), 특정 캐릭터의 스타일에 맞춰 텍스트를 다시 작성하는 '음성 페르소나' 기능을 구동합니다.
• 통합: REST API 및 Model Context Protocol (MCP) 서버를 제공하여 AI 에이전트(Claude Code나 Cursor 등)가 복제된 음성을 사용하여 말할 수 있도록 합니다.
• 성능: Tauri (Rust) 및 FastAPI (Python)로 구축되었으며, macOS (MLX/Metal), Windows (CUDA/DirectML), Linux (ROCm/CUDA) 전반에서 하드웨어 가속을 지원합니다.

대상 사용자

• 콘텐츠 제작자: 멀티트랙 타임라인 에디터를 사용하여 팟캐스트, 내레이션, 게임 대사를 제작하는 분들.
• AI 에이전트 개발자: MCP를 통해 에이전트에게 로컬에서 복제된 음성을 제공하고자 하는 개발자.
• 접근성 사용자: 음성 지원이 필요하거나 복제된 자신의 목소리로 소통하고자 하는 분들.
• 일반 사용자: 클라우드 기반 TTS/STT 서비스의 비공개 로컬 대안을 찾는 모든 분들.

주요 특징

• 제로샷 음성 복제: 단 몇 초의 오디오만으로 모든 음성을 복제 가능.
• 글로벌 받아쓰기: 시스템 전체 단축키를 통해 포커스된 텍스트 필드에 전사된 텍스트를 직접 붙여넣기 가능 (macOS).
• 표현력 있는 음성: Chatterbox Turbo를 통해 [laugh] 또는 [sigh]와 같은 부언어 태그 지원.
• 에이전트 음성 출력: MCP 지원 에이전트와 통합하여 특정 복제 음성으로 말하기 가능.
• 멀티트랙 스토리 에디터: 복잡한 대화와 내레이션을 구성하기 위한 타임라인.
• 후처리: 피치 시프트, 리버브, 컴프레션 등 내장 오디오 효과.