StemDeck 오픈소스 로컬 AI 스템 분리기 – 기능, 비교 및 사용법

빠른 요약

StemDeck는 무료로 사용할 수 있는 오픈소스 데스크톱 애플리케이션으로, 사용자의 컴퓨터에서 MP3, WAV, FLAC, OGG/Opus, MP4, M4A 파일 또는 유튜브 URL을 입력하면 보컬, 드럼, 베이스, 기타, 피아노, 기타 6개의 스템으로 완전히 분리합니다. 계정, 업로드, 구독 없이도 사용 가능합니다.

StemDeck가 하는 일

MP3, WAV, FLAC, OGG/Opus, MP4, M4A 파일 또는 유튜브 URL을 지원합니다.
Meta AI의 오픈소스 Demucs htdemucs_6s 모델을 사용하여 6개의 스템을 생성합니다.
DAW 스타일의 멀티트랙 믹서를 제공하며, 음소거/솔로, 볼륨 패더, VU 메터, 웨이브폼 줌, 루프 영역, 개별 스템 또는 사용자 정의 믹스 내보내기 기능이 있습니다.
Windows, macOS, Linux에서 로컬로 실행되며, 오디오가 컴퓨터 외부로 나가지 않습니다.
선택적으로 UVR‑MDX‑NET Karaoke 2 모델을 사용해 실시간 보컬/리드 스플릿을 수행할 수 있습니다.

참고: 이 도구는 스템 분리기이며 다운로더가 아닙니다. 소스 오디오를 소유하거나 처리할 권한이 있어야 합니다.

핵심 기능

기능	상세 정보
6스템 분리	Demucs `htdemucs_6s`; CUDA, Apple MPS, 또는 CPU 자동 감지
입력 옵션	로컬 파일 드래그 앤 드롭 또는 유튜브 URL 붙여넣기
멀티트랙 UI	웨이브폼 캔버스, 스템별 패더, 음소거/솔로, 모니터링, 실시간 VU 메터
원본 백킹 트랙	7번째 레인에 선택된 스템의 보완 트랙이 표시되어 A/B 참조 가능
내보내기	개별 WAV 스템, 사용자 정의 믹스 `mix.wav`, 또는 ffmpeg를 통한 MP3
오디오 분석	BPM, 키/스케일 (librosa), LUFS (pyloudnorm), 피크 dBFS
작업 제어	취소 가능한 파이프라인, 설정 가능한 TTL 후 자동 정리
라이브러리 패널	폴더 기반 조직, 검색, 드래그 앤 드롭, 휴지통
크로스플랫폼 설치 파일	macOS DMG (Apple Silicon 및 Intel), Windows ZIP (CPU 또는 CUDA)
Docker 및 Unraid	사전 빌드된 이미지 및 커뮤니티 앱을 통한 헤드리스 배포

클라우드 서비스와의 솔직한 비교

요소	StemDeck	Moises / LALAL.AI (일반적인 클라우드 서비스)
가격	영구 무료	프리미엄 모델; 크레딧 또는 구독 필요
호스팅	로컬 전용	클라우드 (오디오 업로드 필요)
계정	필요 없음	필요
인터넷 연결	유튜브 다운로드 및 첫 모델 다운로드 시 (~170MB) 필요	항상 필요
개인정보 보호	오디오가 컴퓨터 외부로 나가지 않음	제3자 서버에 오디오 저장
모델	오픈소스 Demucs `htdemucs_6s`	기술적 비밀, 종종 더 높은 품질
스템 수	6개	최대 10개
속도	사용자 하드웨어에 따라 다름 (GPU는 빠름, CPU는 느림)	빠름 (서버 기반)
배치 처리	한 번에 하나의 작업만 가능	유료 플랜에서 배치 가능
모바일 앱	없음	iOS/Android 앱
추가 도구	없음 (피치 변조, 가사, 클릭 트랙 등 없음)	다양하며 종종 많은 음악가 도구 포함
UI 완성도	기능 중심, 아마추어 수준	프로페셔널 수준
소스 코드	오픈, 포크 가능	폐쇄

개인정보 보호, 비용 제로, 오프라인 사용을 원한다면 StemDeck을 선택하세요. 더 높은 품질, 배치 처리, 모바일 접근을 원한다면 상용 서비스를 선택하세요.

설치 개요

macOS

DMG	GPU 지원
`StemDeck-macOS-arm64.dmg`	Apple Silicon (MPS)
`StemDeck-macOS-x64.dmg`	Intel (CPU)

첫 실행 시, 번들된 Python 런타임 (~~500MB), FFmpeg, Demucs 모델 (~~170MB)이 다운로드됩니다. 이후 실행은 몇 초 내에 완료됩니다. Gatekeeper가 컨텍스트 메뉴에서 "열기"를 요구할 수 있습니다.

Windows

Zip	GPU 지원
`StemDeck-Windows-x64.zip`	CPU 전용
`StemDeck-Windows-x64.NVIDIA.zip`	NVIDIA CUDA

어디에나 추출한 후 StemDeck.exe를 실행하세요. 모든 종속성은 실행 파일 옆의 data/ 폴더에 포함되어 있어 앱이 완전히 포터블합니다.

기술 스택

Python 3.12는 uv로 관리
FastAPI 백엔드: REST + Server-Sent Events 제공
Demucs (htdemucs_6s)로 6스템 신경망 분리 수행
선택적 UVR-MDX-NET Karaoke 2 모델로 리드/백보컬 분리
yt-dlp로 유튜브 오디오 추출
FFmpeg로 변환 및 믹싱
librosa로 BPM/키 감지; pyloudnorm으로 음량 측정 (ITU-R BS.1770)
Tauri v2 (Rust + WKWebView/WebView2)로 네이티브 데스크톱 쉘 제공
프론트엔드: 순수 JavaScript + Web Audio API; <canvas>에 최소/최대 샘플 렌더링으로 웨이브폼 표시

웹 서버로 실행하기 (Python 전용)

# 복제 및 설치
git clone https://github.com/stemdeckapp/stemdeck stemdeck && cd stemdeck
uv sync                     # 종속성 설치
uv run uvicorn app.main:app --host 127.0.0.1 --port 8000

브라우저에서 http://localhost:8000을 열어 사용하세요. Linux에서 NVIDIA GPU 가속을 원할 경우 CUDA 지원 torch 휠을 설치하고 STEMDECK_DEMUCS_DEVICE=cuda를 설정하세요.

Docker 대안 (GHCR에서 다운로드):

docker run -d --name stemdeck -p 8000:8000 \
  -v /path/to/jobs:/app/jobs \
  -v /path/to/cache:/cache \
  ghcr.io/stemdeckapp/stemdeck:latest

컨테이너는 CUDA 지원 torch를 포함하고 있어 호스트에 CUDA 설치가 필요하지 않습니다.

사용법 안내

입력 – 파일을 막대에 드래그하거나 유튜브 URL을 붙여넣기.
스템 선택 – 스템 칩을 클릭 (기본값: 모든 6개).
처리 – 처리 버튼 클릭; UI는 파이프라인 단계(업로드, 다운로드, 분석, 분리, 믹스)를 표시합니다.
믹스 – 멀티트랙 컨트롤 사용: M 음소거, S 솔로, 모니터 솔로 전용, 볼륨 패더, 루프 영역, 줌(+/-/Fit).
내보내기 – 믹스 다운로드를 클릭해 합산된 WAV를 내보내거나 사이드바를 통해 개별 스템을 내보내기.

키보드 단축키: Space 재생/일시정지, [/] ±5초 탐색, L 루프 토글, I/O 루프 시작/종료 설정, Shift+휠 거친 볼륨 조절, 일반 휠로 세밀한 볼륨 조절.

커뮤니티 피드백 요약

긍정적 반응: 사용자들은 정확성과 편의성에 대해 칭찬하며 "매우 정확한 결과"와 "매우 멋진 경험"이라고 평가했습니다. (댓글: magicmicah85)
모델 논의: 여러 사용자가 StemDeck이 기존의 htdemucs 모델을 간단히 감싸는 도구이며, 새로운 모델이 아니라고 설명했습니다. (ipsum2)
대안 도구 제안: DJ 통합을 위한 Nuo Stems, OpenVINO 플러그인을 사용한 Audacity, Demucs의 WebAssembly ONNX 포트 등이 제안되었습니다. (Stitch4223, tlahtinen, bakkoting)
기능 요청: 리듬 기타 분리, 스템의 MIDI 변환, 안드로이드 지원에 대한 요청이 있었습니다. (BrokenCogs, RobotToaster, 2Gkashmiri)
기술적 호기심: 패키지 크기, GPU 메모리 사용량, 포트 충돌에 대한 질문이 제기되어, Python/PyTorch를 네이티브 설치 파일과 함께 번들링하는 복잡성에 대한 이해를 보였습니다. (yeasin-arafat)

제한 사항 및 알려진 문제

품질은 Demucs에 의존: 분리 품질은 소스 자료와 htdemucs_6s 모델에 따라 달라지며, 상용 클라우드 서비스보다 낮을 수 있습니다.
하드웨어 제약: CPU 전용 처리는 느릴 수 있으며, GPU 가속은 CUDA(NVIDIA) 또는 Apple MPS 지원이 필요합니다.
모바일 앱 없음: 현재 데스크톱 및 웹서버 배포만 지원; 안드로이드/아이폰은 제공되지 않음.
단일 작업 큐: 한 번에 하나의 작업만 실행 가능; 배치 처리는 클라우드 서비스 또는 사용자 정의 스크립트 필요.

라이선스 및 기여

StemDeck은 Apache 2.0 라이선스 하에 배포됩니다. 리포지토리는 이슈, 기능 제안, 풀 리퀘스트를 환영합니다. README에 네이티브 macOS 앱, Docker 이미지, 수동 Python 실행을 위한 빌드 지침이 포함되어 있습니다.

빠른 참고 표 (환경 변수)

변수	기본값	목적
`STEMDECK_DEMUCS_DEVICE`	`auto`	torch 장치 강제 지정 (`cuda`, `mps`, `cpu`)
`STEMDECK_DEMUCS_MODEL`	`htdemucs_6s`	모델 이름
`STEMDECK_JOBS_DIR`	`./jobs`	작업 출력 디렉터리
`STEMDECK_MAX_DURATION_SEC`	`1200`	20분 초과 파일 거부
`STEMDECK_JOB_TTL_SECONDS`	`86400`	24시간 후 자동 삭제
`STEMDECK_MAX_PENDING_JOBS`	`3`	503 응답 전 최대 대기 작업 수

결론

StemDeck은 최신 오픈소스 AI를 사용해 6개의 음악 스템을 완전히 오프라인으로 추출하는 프라이버시 우선 워크플로우를 제공합니다. 상용 클라우드 서비스에 비해 완성도, 배치 처리, 음악가용 추가 도구가 부족하지만, 비용 제로, 오픈소스라는 특성 덕분에 아마추어, 교육자, 오디오 데이터에 대한 완전한 통제를 원하는 사용자에게 매력적인 옵션입니다.