VoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription & audiobook creation in 646 languages.

VoiceStudio – 오픈 소스 음성 복제 및 음성 생성 데스크톱 앱

주요 기능 (쉬운 설명)

VoiceStudio는 자신의 컴퓨터에서 합성 음성을 작업할 수 있는 데스크톱 애플리케이션(Electron 기반)입니다. 즉시 사용 가능한 음성 복제 엔진(기본적으로 k2-fsa 프로젝트의 OmniVoice 모델)이 포함되어 있으며, 네 가지 주요 작업을 위한 그래픽 인터페이스를 제공합니다.

작업	내용	일반적인 사용 사례
음성 복제	화자의 깨끗한 녹음 파일을 로드하고 이름을 지정한 뒤, 말하고 싶은 텍스트를 입력하고 Generate를 클릭합니다.	나레이션, 더빙 또는 개인 프로젝트를 위해 허가를 받은 후 특정 인물의 목소리를 재현할 때 사용합니다.
음성 디자인	자연어로 목소리를 묘사(예: “따뜻하고 낮은 톤의 친근한 목소리”)하여 엔진이 이전에 없던 새로운 목소리를 합성하게 합니다.	브랜드 전용 음성 아바타나 캐릭터의 빠른 프로토타이핑에 사용합니다.
비디오 더빙	비디오를 가져와 자막을 정렬하고 타이밍에 맞는 음성을 생성합니다.	앱을 벗어나지 않고 비디오를 현지화하거나 오디오 오버레이를 만들 때 사용합니다.
받아쓰기 / 전사 / 오디오북	플로팅 위젯이 음성 입력을 캡처하며, 긴 텍스트를 오디오북 스타일의 파일로 일괄 처리할 수 있습니다.	작성된 콘텐츠를 음성 미디어로 변환하거나 핸즈프리로 메모를 캡처할 때 사용합니다.

UI에는 다양한 음성 모델(다른 언어, 품질 수준 또는 오픈 소스 백엔드)을 다운로드, 설치 및 전환할 수 있는 모델 관리자가 포함되어 있습니다. 모든 처리는 장치 내에서 유지될 수 있으며, 더 빠른 추론을 원하거나 무거운 모델을 로컬에서 실행하고 싶지 않은 사용자를 위해 선택적인 원격 서비스도 제공됩니다.

누가 필요할까요?

콘텐츠 제작자: 클라우드 TTS 서비스 비용을 지불하지 않고 나레이션, 보이스오버 또는 다국어 더빙을 추가하려는 분.
개발자 / AI 에이전트: 로컬 음성 인식(STT) 또는 음성 합성(TTS) 엔드포인트가 필요한 분. VoiceStudio는 봇이나 자동화 도구와의 통합을 위해 로컬 HTTP API 및 MCP (Message-Control-Protocol) 인터페이스를 노출합니다.
연구원 또는 취미 사용자: 개인 워크스테이션에서 음성 복제, 음성 디자인 또는 다국어 음성 합성을 실험하려는 분.
소규모 팀: 상용 SaaS TTS 플랫폼을 대체할 수 있는 자체 호스팅 및 개인정보 보호가 가능한 대안을 찾는 분.

실행 방법 (빠른 시작)

한 줄 설치 프로그램 – macOS/Linux 실행:
```
curl -fsSL https://voicestudio.sh/install | sh
```
Windows의 경우 PowerShell 사용:
```
irm https://voicestudio.sh/install | iex
```
이 스크립트는 OS를 감지하고 적절한 Electron 바이너리(.dmg, .exe, .AppImage 또는 .deb)를 다운로드하며, SHA-256 체크섬을 확인하고 앱을 설치합니다. 기존 프로젝트 및 모델 파일은 보존됩니다.
소스 빌드 (선택 사항) – 최신 코드를 사용하거나 백엔드를 수정하려는 경우:
```
git clone https://github.com/debpalash/VoiceStudio.git
cd VoiceStudio
bun install               # JavaScript/TypeScript 의존성
bun run setup:api         # Python 의존성(PyTorch, 모델 코드) 가져오기
bun run dev               # 개발 모드에서 Electron UI 실행
```
이 저장소는 프론트엔드에 Bun(빠른 JavaScript 런타임)을 사용하고, 무거운 음성 모델 처리를 위해 Python 백엔드(소형 API 서버 경유)를 사용합니다.
모델 선택 – 처음 복제나 더빙을 시도할 때 모델을 다운로드하라는 메시지가 표시됩니다. 모델은 로컬에 저장되며 Model Manager 패널에서 교체할 수 있습니다.
워크플로우 시작 – Voice cloning 작업 공간을 열고 참조 오디오 파일을 추가한 뒤 텍스트를 입력하고 Generate를 클릭합니다.

기술적 특징

멀티 엔진 아키텍처 – VoiceStudio는 기본적으로 OmniVoice를 제공하지만, 호환되는 모든 오픈 소스 TTS/음성 복제 엔진(예: VITS, FastSpeech 등)을 로드할 수 있습니다. docs/feature-catalog.md의 엔진 카탈로그에는 지원되는 백엔드와 언어 지원 범위(총 646개 언어)가 나열되어 있습니다.
하드웨어 가속 – NVIDIA GPU에서는 CUDA를 사용하고, Apple Silicon에서는 Metal(MPS)을 활용합니다. GPU가 없는 경우 경량 CPU 전용 PyTorch 빌드(약 5GB)가 자동으로 설치됩니다.
로컬 API & MCP – UI 외에도 앱은 /synthesize, /clone, /list-models와 같은 엔드포인트를 노출하는 소형 HTTP 서버를 실행합니다. MCP 프로토콜을 통해 다른 프로세스(예: 챗봇)가 명령을 보내고 오디오 스트림을 수신할 수 있어, 데스크톱을 벗어나지 않고도 AI 에이전트 통합이 가능합니다.
확장 가능한 플러그인 모델 – 개발자는 docs/engines/README.md에 설명된 engine 인터페이스를 따라 새로운 엔진을 추가할 수 있습니다. 이는 커뮤니티의 틈새 언어 모델이나 실험적인 음성 디자인 기술 기여를 장려합니다.
책임 있는 사용 보호 장치 – 라이선스(AGPL-3.0)는 오픈 소스이지만, README에서는 음성 복제 시 원본 화자의 허가가 필요함을 강조합니다. 모델 관리자는 각 다운로드 모델의 출처 정보와 라이선스 검토 링크를 표시합니다.

클라우드 서비스와의 비교

측면	VoiceStudio (로컬)	클라우드 TTS (예: Azure, Google)
개인정보 보호	모든 오디오는 기기에 유지됩니다. 원격 워커를 활성화하지 않는 한 데이터가 기기를 떠나지 않습니다.	데이터가 제공자의 서버로 전송됩니다.
비용	모델 일회성 다운로드(무료) + 더 빠른 추론을 위한 선택적 유료 "원격 워커".	문자당 또는 시간당 사용료 발생.
지연 시간	GPU 가속 추론은 거의 실시간입니다. CPU 전용은 느리지만 일괄 작업에는 충분합니다.	일반적으로 지연 시간이 짧지만 네트워크 왕복으로 인한 오버헤드가 있습니다.
사용자 정의	사용자 지정 미세 조정 모델 로드, 새로운 목소리 디자인, 모델 매개변수 편집이 가능합니다.	제공자가 제공하는 사전 설정 음성으로 제한됩니다.
확장성	단일 워크스테이션(또는 자체 호스팅 서버)의 컴퓨팅 성능으로 제한됩니다.	클라우드에서 자동으로 확장됩니다.

제작자

이 프로젝트는 debpalash(Palash Deb)와 기여자들에 의해 유지 관리됩니다. AGPL-3.0 라이선스 하에 오픈 소스로 제공되며, 공개 이슈 트래커, CI(GitHub Actions) 및 지원을 위한 Discord 커뮤니티가 있습니다.

위의 모든 정보는 저장소의 README 및 링크된 문서에서 직접 가져온 것입니다.

debpalash/VoiceStudio