OpenMOSS/MOSS-TTS-Nano

해결하는 문제

MOSS-TTS-Nano는 실시간 제품을 위한 고품질 다국어 음성 생성을 가능하게 하도록 설계되었습니다. 일반적으로 TTS 모델과 관련된 높은 배포 비용과 지연 문제를 해결하기 위해, GPU가 필요 없이 CPU에서 효율적으로 작동할 수 있는 매우 작은 크기(0.1B 파라미터)를 제공합니다.

작동 방식

이 프로젝트는 오디오 토크나이저와 대규모 언어 모델(LLM) 로 구성된 순수 자기회귀 파이프라인을 사용합니다.

• MOSS-Audio-Tokenizer-Nano: Cat 아키텍처(Causal Audio Tokenizer with Transformer) 기반의 경량 CNN 없는 토크나이저(20M 파라미터). RVQ를 사용하여 48kHz 스테레오 오디오를 16개의 코드북을 사용한 12.5Hz 토큰 스트림으로 압축합니다.
• TTS 파이프라인: LLM이 오디오 토큰을 생성한 후, 고해상도 48kHz, 2채널 오디오로 복원합니다.
• 배포 옵션: 표준 PyTorch 추론, 매우 최적화된 ONNX CPU 버전(파이토치 종속성 제거 및 효율성 약 2배 향상), Android ONNX Runtime 통합도 지원합니다.

대상 사용자

• 낮은 지연을 필요로 하는 실시간 음성 애플리케이션 개발자.
• 소비자 하드웨어(예: MacBook Air M4)에서 CPU만으로 고품질 TTS를 로컬에서 실행하고자 하는 사용자.
• 가벼운 웹 서비스나 모바일 앱에 음성 생성 기능을 통합하는 제품 팀.

주요 특징

• 초경량: 메인 모델은 단지 0.1B 파라미터.
• CPU 네이티브: 4코어 CPU에서 스트리밍 생성이 가능.
• 다국어 지원: 중국어, 영어, 독일어, 스페인어, 프랑스어, 일본어 등 20개 언어를 지원.
• 보이스 클로닝: 참조 오디오 프롬프트를 사용한 제로샷 보이스 클로닝 지원.
• 고해상도: 네이티브 48kHz 스테레오 출력.
• 유연한 배포: CLI, FastAPI 웹 데모, ONNX를 통한 독립형 CPU/Android 사용 가능.