multimodal-art-projection/YuE

해결하는 문제

YuE2는 기호적 작곡(스코어)과 고품질 오디오 렌더링을 결합한 음악 생성 시스템입니다. AI 음악 생성의 '블랙박스' 문제를 해결하여 기본적인 멜로디와 코드를 명시적이고 편집 가능한 형태로 제공함으로써, 오디오로 렌더링하기 전에 사용자가 곡의 구조를 세밀하게 다듬을 수 있도록 합니다.

작동 방식

YuE2는 AR–NAR Mixture-of-Transformers를 백본으로 사용합니다. 먼저 자동회귀적으로 기호적 스코어와 의미 토큰을 예측한 후, 플로우 매칭을 통해 음향 잠재 변수를 생성하고, 최종적으로 VAE를 통해 스테레오 오디오로 디코딩합니다. 이 시스템은 세 가지 주요 워크플로우를 지원합니다:

• 생성: 가사와 스타일 프롬프트로부터 스코어와 오디오를 생성합니다.
• 커버: SheetSage2를 통해 녹음된 음원을 스코어로 변환하여 다른 스타일로 새로운 해석을 만듭니다.
• 편집: 사용자 또는 에이전트가 ABC 스코어를 수정하여 화성, 멜로디, 템포를 변경한 후 곡을 다시 렌더링할 수 있습니다.

대상 사용자

정밀한 음악 생성 제어가 필요한 음악가, 프로듀서, AI 연구자, 그리고 에이전트 기반 음악 도구를 개발하는 개발자들을 위한 것입니다.

주요 특징

• 화이트박스 생성: 멜로디와 화성에 대해 편집 가능한 ABC 스코어 제공.
• 최첨단 품질: WildSongBench 벤치마크에서 Suno v5/v6와 경쟁 가능한 성능.
• 에이전트 편집: 에이전트가 스코어를 음성화하고 편집하며 비교를 정리하는 데 사용할 수 있는 전용 yue2-music 스킬 포함.
• 제로샷 커버: 특별한 피니튜닝 없이 기존 곡을 새로운 스타일로 재해석 가능.
• 통합 생태계: 오디오에서 스코어로의 변환을 위한 SheetSage2와 음악 이해를 위한 MERT2를 포함.