HeartMuLa/heartlib
HeartMuLa Official Repo: The Most Powerful Open-Source Music Generation Model of 2026
解决的问题
HeartMuLa 提供了一套用于生成和处理音乐的开源工具。它通过允许用户根据基于文本的歌词和描述性标签生成歌曲,同时提供音频重构和歌词转录工具,满足了对高质量、可控音乐创作的需求。
工作原理
该项目使用音乐语言模型来解读您的歌词和风格标签以创建音频。它包含一个专门的编解码器 (HeartCodec),用于将这些生成的模式转换为高保真 48 kHz 立体声。用户可以通过提供歌词文本文件和逗号分隔的标签在本地运行模型,并可选择调整温度 (temperature) 和引导比例 (guidance scale) 等生成参数来微调输出。
适用人群
它专为想要尝试 AI 生成音乐的研究人员、开发人员和音乐创作者而设计。对于那些需要本地、开源替代方案来进行音乐制作、混音或使用参考音频或 MIDI 输入进行翻唱歌曲生成的人来说,它特别有用。
亮点
- 包含一个多语言音乐语言模型,可根据歌词和描述性标签生成歌曲。
- 具有高保真 12.5 Hz 音乐编解码器,可实现清晰的音频重构。
- 提供专用的转录模型 (HeartTranscriptor) 以辅助歌词处理。
- 提供 MuLaCover,用于从参考音频或 MIDI 创建可控的翻唱歌曲和混音。
- 在 Apache 2.0 许可下完全开源。
相关
- 项目
- 项目
- 项目
- 项目
- 项目