kyutai-labs/pocket-tts

Pocket TTS – 경량 CPU 전용 텍스트 음성 변환

개요 – Pocket TTS는 작성된 텍스트를 음성 오디오로 변환하는 Python 라이브러리(및 CLI)입니다. 1억 개의 매개변수를 가진 신경 TTS 모델이 포함되어 있어 일반 CPU에서 효율적으로 실행되므로 GPU나 원격 웹 API가 필요하지 않습니다. 이 프로젝트는 훈련 스크립트, 사전 제작된 음성 세트, 짧은 오디오 클립에서 모든 음성을 복제하는 방법도 제공합니다.

주요 기능

CPU 우선: CPU 전용 PyTorch 빌드에서 작동합니다. MacBook Air M4에서는 두 개의 코어만 사용하여 실시간보다 약 6배 빠른 속도로 음성을 생성할 수 있습니다.
낮은 지연 시간: 첫 번째 오디오 청크가 약 200ms 내에 나타나 스트리밍 출력이 가능합니다.
다국어: 영어, 프랑스어, 독일어, 포르투갈어, 이탈리아어, 스페인어, 네덜란드어(추가 가능).
음성 복제: wav 파일(또는 사전 계산된 safetensors 임베딩)을 제공하면 해당 화자의 음색으로 음성을 합성할 수 있습니다.
스트리밍 / 무한 길이 텍스트: 모델은 임의 길이의 입력에 대해 오디오를 계속 생성할 수 있습니다.
CLI 및 HTTP 서버: pocket-tts generate는 일회성 파일용, pocket-tts serve는 작은 웹 UI가 있는 로컬 REST 엔드포인트용입니다.
Python API: TTSModel.load_model(), get_state_for_audio_prompt(), generate_audio() – 1차원 torch 텐서를 반환하며 scipy.io.wavfile로 쓸 수 있습니다.
브라우저 내 가능성: WebAssembly, ONNX-Runtime-Web, Rust 기반 XN 등으로의 커뮤니티 포트.
훈련 코드: training/ 폴더에서 미세 조정 또는 새 모델 훈련이 가능합니다. 커뮤니티 훈련 체크포인트는 README에 나열되어 있습니다.

시작하기

패키지를 설치합니다(CPU 전용 PyTorch 권장):

pip install pocket-tts                     # 또는 `uv add pocket-tts`
# Linux에서는 CUDA 휠을 피하세요:
pip install pocket-tts --extra-index-url https://download.pytorch.org/whl/cpu

CLI로 wav를 생성합니다:
```
pocket-tts generate --text "Hello world" --voice alba
```
tts_output.wav 파일이 현재 디렉토리에 생성되고 속도 통계가 출력됩니다.

반복 호출을 위해 로컬 서버를 실행합니다:

pocket-tts serve   # 그런 다음 http://localhost:8000에 POST

코드에서 라이브러리를 사용합니다:

from pocket_tts import TTSModel, export_model_state
model = TTSModel.load_model()
voice = model.get_state_for_audio_prompt("alba")
audio = model.generate_audio(voice, "Hello from Python!")

빠른 재사용을 위해 음성 임베딩을 내보냅니다:

export_model_state(voice, "alba.safetensors")

커뮤니티 및 확장

여러 대체 런타임(Apple Silicon용 MLX, Candle, ONNX, C++, C#, Rust 등)을 통해 임베디드 장치, Windows 또는 브라우저에서 직접 Pocket TTS를 실행할 수 있습니다.
커뮤니티 훈련 언어 모델(체코어, 힌디어, 한국어, 페르시아어, 인도네시아어 등) 목록이 늘어나고 있으며 --config 플래그로 호출할 수 있습니다.
이 프로젝트는 오픈 소스이며 기여를 받고 개발자를 위한 CONTRIBUTING.md를 제공합니다.

사용 시기

GPU 드라이버가 없는 노트북, 서버 또는 엣지 장치에서 빠른 오프라인 TTS가 필요한 경우.
TTS를 Python 앱, CLI 도구 또는 경량 웹 서비스에 포함하려는 경우.
대규모 클라우드 전용 솔루션보다 작은 모델 풋프린트(약 1억 매개변수, 수백 MB)를 선호하는 경우.

링크

데모 사이트: https://kyutai.org/pocket-tts
GitHub: https://github.com/kyutai-labs/pocket-tts
Hugging Face 모델 허브: https://huggingface.co/kyutai/pocket-tts
논문(arXiv): https://arxiv.org/abs/2509.06926
기술 보고서: https://kyutai.org/blog/2026-01-13-pocket-tts

kyutai-labs/pocket-tts

Pocket TTS – 경량 CPU 전용 텍스트 음성 변환

관련