HeartMuLa/heartlib

HeartMuLa Official Repo: The Most Powerful Open-Source Music Generation Model of 2026

解決する課題

HeartMuLa は、歌詞やタグに基づいて高品質な音楽を生成するために設計されたオープンソースの音楽基盤モデルスイートを提供します。制御可能な多言語音楽生成と高忠実度なオーディオ再構成のニーズに応え、音楽オーディオの作成と分析の両方に役立つツールを提供します。

仕組み

このプロジェクトは、主に4つのコンポーネントで構成されています。

  • HeartMuLa: 提供された歌詞とタグに基づいて音声を生成する音楽言語モデルで、幅広い言語をサポートしています。
  • HeartCodec: 音声を離散トークンに変換し、48 kHz ステレオ音声を高忠実度で再構成する 12.5 Hz 音楽コーデックです。
  • HeartTranscriptor: 音声から歌詞を書き起こすために特別に調整された Whisper ベースのモデルです。
  • HeartCLAP: 音楽の説明とクロスモーダル検索のための統一された埋め込み空間を作成する、オーディオとテキストの整合モデルです。

さらに、このプロジェクトには MuLaCover が含まれています。これは、シンボリックなメロディとハーモニーを使用して音楽的アイデンティティを保持しながら、ジャンル、ムード、楽器編成の変更を可能にする、制御可能なカバーソングおよび音楽リミックス用モデルです。

対象ユーザー

このツールキットは、音楽プロデューサー、オーディオ/音楽生成分野の AI 研究者、および高忠実度で制御可能な音楽合成と書き起こしを必要とする音楽関連アプリケーションの開発者を対象としています。

ハイライト

  • 多言語サポート: ほぼすべての言語の歌詞に基づいて音楽を生成します。
  • 高忠実度: HeartCodec により、48 kHz ステレオ音声の再構成が可能です。
  • 制御性: 強化学習 (RL) による調整を通じて、音楽スタイルやタグを正確に制御できます。
  • 包括的なエコシステム: 生成、トークン化、再構成、書き起こしのためのツールが含まれています。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト