OpenMOSS/MOSS-TTS

해결하는 문제

MOSS-TTS 패밀리는 복잡한 실제 세계의 오디오 제작을 처리하도록 설계된 오픈소스 음성 및 사운드 생성 모델의 모음입니다. 단일 TTS 모델의 한계를 극복하기 위해 고해상도 장문 음성, 표현력 있는 다중 스피커 대화, 텍스트 프롬프트에서의 제로샷 음성 디자인, 저지연 실시간 상호작용, 환경 사운드 효과 생성을 위한 전문 도구를 제공합니다.

작동 방식

이 프로젝트는 안정성, 속도, 지연 시간을 균형 있게 유지하기 위해 세 가지 주요 아키텍처를 사용합니다:

• MossTTSDelay: 지연 패턴 스케줄링을 사용한 다중 헤드 병렬 RVQ 예측을 채택하여 장문 컨텍스트의 안정성과 프로덕션 준비성을 최적화합니다.
• MossTTSLocal: 시간 동기화 RVQ 블록과 깊이 변환기(Transformer)를 사용하여 가벼운 유연성과 스트리밍 성능에 초점을 맞춥니다.
• MossTTSRealtime: 텍스트와 사용자 음향 정보를 모두 기반으로 다턴(다단계) 컨텍스트를 모델링하는 능력 중심 설계로, 음성 에이전트를 위한 저지연 스트리밍 음성을 가능하게 합니다.

또한 MOSS-SoundEffect-v2.0 모델에는 DiT 백본 + 플로우 매칭(Flow Matching)을 사용하여 고품질 이중 언어 사운드 효과를 생성합니다.

대상 사용자

이 모델 패밀리는 다음과 같은 개발자와 창작자를 위한 것입니다:

• 콘텐츠 제작자: 장문 내레이션, 팟캐스트, 더빙에 사용.
• AI 음성 에이전트: 실시간, 저지연 인터랙티브 음성 시스템을 구축할 때.
• 게임 및 영화 개발자: 환경 사운드 효과 및 다양한 캐릭터 음성 생성에 사용.
• 연구자: 음성 합성 및 오디오 생성에 대한 재현 가능한 참조가 필요한 경우.

주요 특징

• 다양한 모델 세트: 일반 TTS, 대화(MOSS-TTSD), 음성 디자인(MOSS-VoiceGenerator), 실시간 에이전트(MOSS-TTS-Realtime), 사운드 효과(MOSS-SoundEffect)에 특화된 모델 포함.
• 고해상도: MOSS-Audio-Tokenizer-v2를 통해 48 kHz 스테레오 출력 지원.
• 극도의 유연성: 약 100M(Nano)에서 8B 파라미터까지 다양한 모델 크기 제공.
• 광범위한 언어 지원: MOSS-TTS-v1.5는 31개 언어를 지원.
• 배포 준비 완료: llama.cpp 및 ONNX Runtime을 통한 torch 미사용 추론을 지원하며, SGLang-Omni 및 vLLM-Omni와 같은 가속 백엔드와 통합되어 있습니다.