multimodal-art-projection/YuE
YuE2: frontier music generation with symbolic planning, zero-shot covers, and agentic music editing.
解決的問題
YuE2 是一個結合符號化作曲（樂譜）與高品質音訊渲染的音樂生成系統。它解決了 AI 音樂生成的「黑箱」問題，使底層的旋律與和弦變得明確且可編輯，讓使用者能在音訊渲染前精細調整歌曲結構。
工作原理
YuE2 使用 AR–NAR Mixture-of-Transformers 作為骨幹網路。首先自回歸地預測符號化樂譜與語意標記，然後透過流匹配生成聲學潛在變數，最終透過 VAE 解碼為立體聲音訊。該系統支援三種主要工作流程：
- 創作：根據歌詞與風格提示生成樂譜與音訊。
- 改編：透過 SheetSage2 將錄音轉譯為樂譜，以不同風格重新詮釋。
- 編輯：允許使用者或代理修改 ABC 樂譜以改變和聲、旋律或速度，然後重新渲染歌曲。
適用對象
專為需要精確控制音樂生成的音樂人、製作人與 AI 研究人員設計，也適用於開發代理式音樂工具的開發者。
核心亮點
- 白盒生成：提供可編輯的 ABC 樂譜，用於旋律與和聲。
- 前沿品質：在 WildSongBench 基準測試中與 Suno v5/v6 性能相當。
- 代理編輯：包含專用的
yue2-music技能，供代理進行轉錄、編輯樂譜與組織對比。 - 零樣本改編：無需特定微調即可將現有歌曲重新詮釋為新風格。
- 整合生態系統：包含 SheetSage2（用於音訊轉樂譜）與 MERT2（用於音樂理解）。
相關
- 專案
- 專案
- 專案
- 專案