timoncool/YuE2-Studio

Local AI song generator with an editable score — YuE2 on your GPU: full songs with vocals, sheet music, covers, exact replay. Native Windows app, no Python, installer with auto-update.

해결하는 문제

YuE2 Studio는 오픈 소스 음악 모델인 YuE2를 사용하여 전체 길이의 곡을 생성하기 위한 완전한 오프라인 데스크톱 환경을 제공합니다. Python이나 복잡한 수동 설정 없이 악보 생성, 보컬 퍼포먼스, 오디오 처리, MIDI 편집까지 모든 과정을 처리하는 단일 독립형 Windows 실행 파일을 제공함으로써 고급 생성형 음악 모델을 실행하는 복잡성을 해결합니다.

작동 방식

이 스튜디오는 YuE2 모델의 네이티브 C++/CUDA 구현체인 yue2.cpp의 그래픽 인터페이스 역할을 합니다. 사용자가 가사와 스타일 설명을 입력하면 악보(ABC 표기법)가 생성되고, 모델이 이를 연주합니다. 사용자는 생성된 악보를 직접 편집하거나, 다른 설정으로 연주를 다시 렌더링하거나, 내장된 MIDI 에디터를 사용하여 작곡을 다듬을 수 있습니다. 또한 MCP (Model Context Protocol) 서버가 통합되어 있어 AI 에이전트가 프로그래밍 방식으로 스튜디오 기능을 제어할 수 있습니다.

대상 사용자

이 도구는 Windows에서 고품질 생성형 음악 모델을 로컬로 실행하려는 음악 제작자, AI 애호가 및 개발자를 위해 설계되었습니다. 단순히 단일 프롬프트에서 오디오를 생성하는 것을 넘어, 음표나 코드 편집과 같이 작곡 과정을 세밀하게 제어하려는 사용자에게 특히 유용합니다.

주요 특징

  • 풀스택 음악 제작: 가사와 스타일로부터 곡을 생성하며, 기반이 되는 악보를 편집하고 연주를 다시 렌더링할 수 있습니다.
  • 네이티브 성능: NVIDIA GPU (6GB+ VRAM)에서 오프라인으로 실행되며, Vulkan을 통해 AMD/Intel도 실험적으로 지원합니다.
  • 광범위한 편집 도구: 멀티트랙 MIDI 에디터, 오디오 스템 분리 (HT-Demucs), 오디오 처리 체인 (VST3 지원, 마스터링)이 포함되어 있습니다.
  • 에이전트 준비 완료: MCP 서버가 통합되어 있어 AI 에이전트가 곡 제작, 학습 및 파일 작업을 관리할 수 있습니다.
  • 고급 학습: 특정 아티스트 스타일이나 데이터셋에 맞춰 모델을 미세 조정할 수 있는 LoRA 트레이너가 내장되어 있습니다.
  • 사용자 친화적인 인터페이스: Winamp 스타일 스킨 모드, 시각화 도구, 자동 업데이트 기능을 갖춘 휴대용 Windows 환경을 제공합니다.

관련

  • 프로젝트
    timoncool/ACE-Step-Studio

    ACE-Step 1.5용 데스크톱 스튜디오로, 보컬이 포함된 전체 곡을 로컬에서 생성할 수 있으며 LoRA 학습, 스템 분리, MIDI 도구가 통합되어 있습니다.

  • 프로젝트
    multimodal-art-projection/YuE

    YuE2는 가사 + 스타일 프롬프트를 편집 가능한 심볼릭 악보로 변환한 뒤 고충실도 오디오로 만드는 오픈소스 음악 생성 시스템입니다. 세 가지 모드(전체 플랜, 멜로디만, 직접)를 제공하고, SheetSage2 전사를 통한 제로샷 커버를 지원하며, 최첨단 벤치마크 점수를 달성합니다. Python 파이프라인, 에이전트 스킬, 웹 데모를 통해 곡을 쉽게 생성·편집·커버할 수 있으며, 모두 Apache 2.0 코드 라이선스와 CC‑BY‑NC 모델 라이선스 하에 있습니다.

  • 프로젝트
    debpalash/VoiceStudio

    VoiceStudio는 수백 개의 언어로 음성 복제, 음성 디자인, 비디오 더빙, 받아쓰기, 전사 및 오디오북 제작을 위한 오픈 소스 데스크톱 앱(Electron)입니다. macOS, Windows 또는 Linux에서 로컬로 실행되며, GPU 가속을 지원하고, 모델 관리자를 제공하며, AI 에이전트와의 통합을 위한 로컬 API/MCP를 노출합니다.

  • 프로젝트
    AkshitIreddy/AI-Powered-Video-Tutorial-Generator

    AI 기반 비디오 튜토리얼 생성기는 Windows 전용 데스크톱 앱으로, 질문이나 주제를 완전히 편집 가능한 비디오 수업으로 변환합니다. 연구, 스크립트 작성, 스토리보드 생성, 내레이션, 일러스트레이션, 발표자 애니메이션 및 최종 내보내기를 처리하며, 로컬 확산 모델(ComfyUI/SDXL) 또는 클라우드 LLM/이미지 제공업체를 사용합니다. 오픈소스 스택은 React/Tauri UI, Rust 코어, Python 파이프라인으로 구성되며, Python, Node, Chromium, FFmpeg 런타임을 함께 제공합니다.

  • 프로젝트
    ace-step/ACE-Step-1.5

    ACE‑Step 1.5는 언어 모델 기반 계획과 Diffusion‑Transformer 오디오 디코더를 결합한 오픈소스 음악 생성 기초 모델입니다. RTX 3090에서 10초 미만으로 10초~10분 길이의 전체 곡을 생성 가능하며, 기준 모델은 4GB 미만의 VRAM으로 작동하고, 몇 곡만으로도 LoRA 미세조정이 가능합니다. 리포지토리는 Gradio 및 REST 인터페이스, 주요 OS용 실행 스크립트, 여러 모델 크기(4 B XL 버전 포함), 가사, 스타일, 템포, 악기 구성에 대한 광범위한 제어 기능을 제공합니다.