HojoAI/Hojo-TTS-Light

Hojo-TTS-Light is a lightweight speech generation model series developed by HojoAI, currently comprising a 0.04B and a 0.08B model.

해결하는 문제

Hojo-TTS-Light는 저전력 하드웨어에서 작동할 수 있는 고품질 이중 언어(중국어 및 영어) 음성 합성 기능을 제공하도록 설계되었습니다. 일반적으로 고급 TTS 모델과 관련된 높은 계산 요구 사항을 해결하여 CPU, 일반 GPU 및 임베디드 엣지 장치에서 효율적으로 배포할 수 있도록 합니다.

작동 방식

이 프로젝트는 음성 토크나이저(18M 인코더 및 30M 디코더로 구성) 기반의 토큰-LM 프레임워크를 사용합니다. 두 가지 모델 크기를 제공합니다: 15개의 내장 음성과 함께 40M 파라미터 모델과, 몇 초의 오디오로 음성 클론이 가능한 80M 파라미터 모델입니다. 높은 효율성을 보장하기 위해 모델은 최적화된 ONNX 파일로 제공되며, KV 캐시 병합이 적용되어 빠른 CPU 기반 합성이 가능합니다.

대상 사용자

에지 장치를 타겟으로 하거나, 더 큰 모델의 비싼 GPU 요구 사항을 피하고자 하는 개발자 및 기업에게 적합합니다.

주요 특징

  • 초경량: 핵심 모델은 40M 및 80M 파라미터이며, 높은 음질(DNSMOS > 4.0)을 유지합니다.
  • 네이티브 이중 언어 지원: 브랜치 전환 없이 중국어와 영어를 원활하게 처리합니다.
  • 장치 내 친화적: ONNX 패키징을 통해 CPU 및 임베디드 장치에 최적화되어 있습니다.
  • 발음 보정: 핀인을 사용하여 다의어나 고유명사의 잘못된 발음을 수동으로 수정할 수 있습니다.
  • 음성 클론: 80M 모델은 짧은 오디오 샘플을 사용해 빠르게 음성 클론이 가능합니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트