xcLee001/SonicVale
一个开源的多角色、多情绪 AI 配音生成平台,支持小说、剧本、视频等内容的自动配音与导出。
解决的问题
SonicVale(音谷)旨在自动化小说、剧本和视频的多角色、多情感语音合成流程。它消除了在长篇内容中手动为每句对白分配声音和情感的繁琐工作。
工作原理
该平台整合了大型语言模型(LLM)和文本转语音(TTS)引擎,将文本转换为音频。它利用LLM自动拆分对白并分配角色,并借助Index-TTS-2.0引擎实现情感化语音合成。用户可以导入文本,管理角色语音库,为角色绑定特定情感,并在导出最终结果前进行精确的音频编辑(如添加静音或删除片段)。
适用人群
需要为多角色叙事类内容制作高质量、富有情感表达的AI语音的创作者、作者和视频制作者。
核心亮点
- 自动对白拆分:使用可自定义的提示词和LLM将剧本拆分为角色专属的对白行。
- 多情感支持:集成Index-TTS-2.0,为不同角色提供细腻的情感语调。
- 角色管理:配备专用角色库,确保跨多章节的角色声音绑定保持一致。
- 精准音频编辑:支持手动删除音频片段或插入静音,以优化节奏。
- 灵活集成:支持任何兼容OpenAI API协议的LLM。
相关
- 项目
jianchang512/pyvideotranspyVideoTrans 是一个开源 Python 工具,通过串联语音转文本、AI 翻译和文本转语音(支持语音克隆)实现视频自动翻译。提供 GUI、WebUI、CLI 和 Docker 部署方式,支持本地模型(如 Faster-Whisper、F5-TTS)或云 API,附带字幕编辑、说话人区分和 GPU 加速等实用功能。
- 项目
- 项目
- 项目
dramaclaw/dramaclawDramaClaw 是一个自托管、源代码可用的AI驱动制作平台,可将脚本转化为短片。它提供了一个基于节点的“无限画布”(XiaHua),用于自由生成图像、视频、音频和3D场景,以及一个结构化的“系列”流水线(XiaJi),用于接收手稿、规划剧集、编写脚本、创建故事板、合成配音、合成视频并导出最终剪辑。集成的AI助手(Xia Director)可以驱动这两条路径。该系统通过Docker运行,所有重型模型推理都通过兼容OpenAI的网关(官方或自定义)路由,并根据Elastic 2.0许可,允许商业使用,但需显示要求的信用徽章。
- 项目
Xerophayze/TTS-StoryTTS‑Story 是一个用于多角色有声书创建的 Web UI。它允许你标记说话人,设计或克隆语音(通过 Google Gemini Cloud 或许多本地模型),运行 TTS 任务队列,在应用内审听音频,并导出 MP3/M4B。支持 20 多个引擎,GPU/CPU 隔离,批量语音分配,定向旁白,以及可选的 LLM 文本准备。