multimodal-art-projection/YuE

何を解決するか

YuE2 は記号的作曲（スコア）と高品質なオーディオレンダリングを組み合わせた音楽生成システムです。AI音楽生成の「ブラックボックス」問題を解決し、下位のメロディーやコードを明示的かつ編集可能にすることで、音声にレンダリングする前に楽曲の構造をユーザーが微調整できるようにします。

動作方法

YuE2 は AR–NAR Mixture-of-Transformers をバックボーンとして使用します。まず、記号的スコアとセマンティックトークンを自己回帰的に予測し、その後、フローマッチングを用いて音響潜在変数を生成し、最終的に VAE を介してステレオオーディオにデコードします。このシステムは以下の3つの主要なワークフローをサポートしています：

• 作成：歌詞とスタイルプロンプトからスコアとオーディオを生成します。
• カバー：SheetSage2 を介して音声をスコア化し、異なるスタイルで新たな解釈を生成します。
• 編集：ユーザーまたはエージェントが ABC スコアを編集してハーモニー、メロディ、テンポを変更し、その後再レンダリングできます。

対象ユーザー

音楽制作における正確な制御が必要なミュージシャン、プロデューサー、AI研究者、およびエージェント音楽ツールを開発する開発者向けに設計されています。

特徴

• ホワイトボックス生成：メロディーやコードを編集可能な ABC スコアとして提供。
• 最先端の品質：WildSongBench ベンチマークにおいて Suno v5/v6 と同等の性能を発揮。
• エージェント編集：エージェントがスコアを音声化・編集・比較を整理するための専用 yue2-music スキルを搭載。
• ゼロショットカバー：特定のファインチューニングなしで既存の楽曲を新しいスタイルに再解釈可能。
• 統合エコシステム：音声からスコアへの変換に SheetSage2、音楽理解に MERT2 を統合。