HeartMuLa/heartlib

HeartMuLa Official Repo: The Most Powerful Open-Source Music Generation Model of 2026

解决的问题

HeartMuLa 提供了一套开源音乐基础模型,旨在根据歌词和标签生成高质量音乐。它解决了对可控、多语言音乐生成和高保真音频重建的需求,为音乐音频的创作与分析提供了工具。

运作原理

该项目包含四个主要组件:

  • HeartMuLa:一个音乐语言模型,根据提供的歌词和标签生成音频,并支持多种语言。
  • HeartCodec:一个 12.5 Hz 音乐编解码器,将音频转换为离散标记,并以高保真度重建 48 kHz 立体声音频。
  • HeartTranscriptor:一个基于 Whisper 的模型,专门针对从音频中转录歌词进行了微调。
  • HeartCLAP:一个音频-文本对齐模型,为音乐描述和跨模态检索创建了统一的嵌入空间。

此外,该项目还包括 MuLaCover,这是一个用于可控翻唱和音乐混音的模型,它使用符号旋律与和声来保留音乐特征,同时允许更改流派、情绪和乐器编制。

目标用户

此工具包适用于音乐制作人、音频/音乐生成领域的 AI 研究人员,以及需要高保真、可控音乐合成与转录功能的音乐应用开发者。

特色亮点

  • 多语言支持:基于几乎所有语言的歌词生成音乐。
  • 高保真度:HeartCodec 支持 48 kHz 立体声音频的重建。
  • 可控性:通过强化学习 (RL) 优化,实现对音乐风格和标签的精确控制。
  • 完整生态系统:包含生成、标记化、重建和转录工具。

相关

  • 项目
  • 项目
  • 项目
  • 项目