multimodal-art-projection/YuE

YuE2: frontier music generation with symbolic planning, zero-shot covers, and agentic music editing.

解决的问题

YuE2 是一个将符号化作曲（乐谱）与高质量音频渲染相结合的音乐生成系统。它解决了 AI 音乐生成的“黑箱”问题，使底层的旋律和和弦变得明确且可编辑，让用户在音频渲染前能够精细调整歌曲结构。

工作原理

YuE2 使用 AR–NAR Mixture-of-Transformers 作为骨干网络。首先自回归地预测符号化乐谱和语义标记，然后通过流匹配生成声学潜在变量，最终通过 VAE 解码为立体声音频。该系统支持三种主要工作流程：

  • 创作：根据歌词和风格提示生成乐谱和音频。
  • 改编：通过 SheetSage2 将录音转录为乐谱，以不同风格重新诠释。
  • 编辑：允许用户或代理修改 ABC 乐谱以改变和声、旋律或速度，然后重新渲染歌曲。

适用人群

专为需要精确控制音乐生成的音乐人、制作人和 AI 研究人员设计，也适用于开发代理式音乐工具的开发者。

核心亮点

  • 白盒生成：提供可编辑的 ABC 乐谱，用于旋律和和声。
  • 前沿品质：在 WildSongBench 基准测试中与 Suno v5/v6 性能相当。
  • 代理编辑：包含专用的 yue2-music 技能，供代理进行转录、编辑乐谱和组织对比。
  • 零样本改编：无需特定微调即可将现有歌曲重新诠释为新风格。
  • 集成生态系统：包含 SheetSage2（用于音频转乐谱）和 MERT2（用于音乐理解）。

相关

  • 项目
    GetBindu/Bindu

    Bindu 是一个开源框架，可将任何基于 LLM 的代理转变为安全、身份验证、支付功能齐全的互联网服务。它提供内置 mTLS、DID 签名、通过 Hydra 的 OAuth2、USDC（x402）支付强制、技能广告、推送通知以及多语言 SDK（Python、TypeScript、Kotlin）。通过一次 `bindufy()` 调用，即可获得 JSON-RPC 端点、可选的公共隧道和部署助手，轻松构建代理群组、付费 API 或受监管的 B2B 代理集成。

  • 项目
    awslabs/mcp

    开源 MCP（模型上下文协议）服务器，使 LLM 驱动的工具能够获取实时 AWS 文档、IaC 指导，并安全调用 AWS API。包含托管远程服务器和本地二进制文件（文档、IaC、EKS 等），均通过基于 stdio 的协议访问。

  • 项目
    espnet/espnet

    一个基于 PyTorch 的端到端语音处理工具包，为 ASR、TTS、语音翻译和增强提供了统一且可复现的方案。

  • 项目
    drivendataorg/cookiecutter-data-science

    Cookiecutter Data Science (CCDS) 是一个 CLI 工具，可为数据科学工作创建标准化、遵循最佳实践的项目骨架，包含原始/处理数据文件夹、笔记本、Python 包（含训练/预测脚本）、文档和 Makefile。通过 pipx 安装，运行 `ccds`，回答提示，即可获得一个即用型、可复现的项目结构。