HojoAI/Hojo-TTS-Light

Hojo-TTS-Light is a lightweight speech generation model series developed by HojoAI, currently comprising a 0.04B and a 0.08B model.

解决的问题

Hojo-TTS-Light 旨在提供可在低功耗硬件上运行的高质量双语(中文和英文)语音合成。它解决了通常与先进 TTS 模型相关的高计算需求,使模型能够高效部署在 CPU、普通 GPU 和嵌入式边缘设备上。

工作原理

该项目基于语音分词器(由 18M 编码器和 30M 解码器组成)的 token-LM 框架。提供两种模型尺寸:40M 参数模型,包含 15 个内置音色;以及 80M 参数模型,支持仅用几秒音频即可实现音色克隆。为确保高效率,模型以优化的 ONNX 文件形式提供,并启用了 KV 缓存合并,从而实现快速的 CPU 基础合成。

适用人群

希望在其应用中集成轻量级双语 TTS 功能的开发者和企业,特别是针对边缘设备,或希望避免大型模型昂贵 GPU 要求的用户。

主要亮点

  • 超轻量级:核心模型仅 40M 和 80M 参数,同时保持高音质(DNSMOS > 4.0)。
  • 原生双语支持:无缝处理中文和英文,无需切换分支。
  • 设备友好:通过 ONNX 打包,针对 CPU 和嵌入式设备进行了优化。
  • 发音纠正:支持使用拼音手动纠正多音字或专有名词的误发音。
  • 音色克隆:80M 模型支持使用短音频样本快速实现音色克隆。

相关

  • 项目
  • 项目
  • 项目
  • 项目