StemDeck 오픈소스 로컬 AI 스템 분리기

빠른 요약

StemDeck는 Meta AI의 오픈소스 Demucs 모델을 사용해 음원, 드럼, 베이스, 기타, 피아노, 기타(다른)를 포함한 6개 스템으로 분리하는 무료 오프라인 도구로, 클라우드 업로드, 계정, 구독 없이도 사용 가능합니다.

StemDeck의 기능

로컬 처리 전용 – 오디오가 절대 당신의 기기 외부로 나가지 않으며, YouTube URL은 yt-dlp를 통해 로컬에서 가져옵니다.
6개 스템 출력 – Demucs htdemucs_6s를 사용해 보컬, 드럼, 베이스, 기타, 피아노, 그리고 "기타" 트랙을 분리합니다.
DAW 스타일 믹서 – 각 스템 별 볼륨, 음소거, 솔로, 모니터링, VU 메터, 웨이브폼 줌, 루프 영역, 개별 스템 또는 사용자 정의 믹스 내보내기 기능을 제공합니다.
크로스플랫폼 설치 파일 – 네이티브 macOS (Apple Silicon 및 Intel) 및 Windows 빌드 제공; 웹 서버 또는 Docker 컨테이너로도 사용 가능합니다.
계정 없음, 할당량 없음 – Apache 2.0 라이선스 하에 완전 무료이며, 추적 데이터나 숨겨진 요금이 없습니다.

핵심 기술 스택

구성 요소	라이브러리 / 도구	역할
백엔드	Python 3.12 (uv로 관리)	추론 실행 및 작업 조율
API	FastAPI	작업 상태를 위한 REST + Server-Sent Events
스템 모델	Demucs `htdemucs_6s` (Meta AI)	6개 스템 신경망 분리
선택적 보컬 분리	audio-separator (UVR-MDX-NET Karaoke 2)	리드/백보컬 추출
YouTube 다운로드	yt-dlp	로컬에서 오디오 스트림 가져오기
변환 / 믹싱	FFmpeg	오디오 디코딩, 믹싱, 내보내기
BPM 및 키 분석	librosa	비트 추적, 키/스케일 감지
음량 측정	pyloudnorm (ITU-R BS.1770)	통합 LUFS 분석
데스크톱 쉘	Tauri v2 (Rust + WKWebView / WebView2)	UI를 네이티브 앱으로 패키징
프론트엔드	순수 JavaScript + Web Audio API	웨이브폼 렌더링, 재생 컨트롤

주요 기능

장치 자동 선택 – NVIDIA GPU에서는 CUDA, Apple Silicon에서는 MPS, 그렇지 않으면 CPU로 대체합니다.
YouTube 및 로컬 파일 가져오기 – 드래그 앤 드롭 또는 URL 붙여넣기 가능; MP3, WAV, FLAC, OGG/Opus, MP4, M4A 형식 지원.
원본 백킹 트랙 – 스템 일부를 선택할 경우, 선택된 스템을 제외한 전체 곡(보완 트랙)이 7번째 레이어에 표시되어 A/B 비교가 쉬워집니다.
작업 취소 가능 – 파이프라인을 즉시 중단하고 부분적으로 생성된 출력을 정리합니다.
라이브러리 패널 – 폴더 기반 정리, 드래그 앤 드롭, 검색, 휴지통 기능 제공.
내보내기 옵션 – 개별 WAV 스템, 합산된 mix.wav, 또는 원본 소스를 포함한 사용자 정의 MP4 비디오 내보내기.

상용 서비스와의 솔직한 비교

항목	StemDeck	일반 클라우드 서비스 (Moises, LALAL.AI)
가격	영구 무료	프리미엄 모델; 크레딧 또는 구독 필요
개인정보 보호	오디오가 기기 내부에 유지됨	제3자 서버에 업로드됨
스템 수	6개 (보컬, 드럼, 베이스, 기타, 피아노, 기타)	계획에 따라 최대 10개
하드웨어 의존성	GPU/CPU에서 실행; 속도는 사용자 기기 성능에 따라 다름	제공업체의 하드웨어에서 실행됨 – 모든 사용자에게 빠름
모바일 앱	없음	iOS/Android 앱 제공
추가 음악가 도구	없음 (피치 변조, 코드 감지 등 없음)	종종 피치/키 변조, 가사 동기화, 클릭 트랙 포함
소스 코드	오픈소스, 포크 가능	폐쇄소스

최고의 품질, 대량 처리, 또는 모바일 접근이 필요하다면 유료 서비스가 가치가 있을 수 있습니다. 개인 연습, 개인정보 보호, 비용 없이 사용하고 싶다면 StemDeck은 충분합니다.

시작하기

데스크톱 설치

macOS – 적절한 DMG 파일(arm64는 Apple Silicon용, x64는 Intel용)을 다운로드하세요. 첫 실행 시 번들된 Python 런타임 (~~500 MiB), FFmpeg, Demucs 모델 (~~170 MiB)이 다운로드됩니다.
Windows – 설치 파일을 압축 해제(StemDeck-Windows-x64.zip는 CPU용, *.NVIDIA.zip는 CUDA용). StemDeck.exe를 실행하면 첫 실행 시 동일한 런타임 설정이 수행됩니다.
Gatekeeper – macOS에서 오른쪽 클릭 → 열기를 선택해 초기 보안 경고를 우회하세요.

웹 서버 / Docker

Python 서버 – git clone https://github.com/stemdeckapp/stemdeck && cd stemdeck && ./run.sh setup && ./run.sh start (macOS/Linux) 또는 Windows에서 동등한 PowerShell 명령어 사용.
Docker – docker compose -f build/docker-compose.yml up --build. 포트 8000을 노출하며, 스템은 ./jobs/ 폴더에 생성됩니다.
GPU 가속 – STEMDECK_DEMUCS_DEVICE=cuda로 설정하고 CUDA 지원 PyTorch 라이브러리를 설치하세요.

사용 가이드

가져오기 – 파일을 바에 드래그하거나 YouTube URL을 붙여넣기하세요.
스템 선택 – 스템 칩을 클릭하세요. 기본값은 모든 6개입니다.
처리 – 처리 버튼을 클릭하세요. 업로드, 분석, 분리, 믹싱 단계를 진행하는 진행률 바를 확인하세요.
믹스 – 멀티트랙 UI를 사용하세요: 볼륨 패더, 음소거/솔로, 루프 영역, 재생 속도 조절 기능을 활용하세요.
내보내기 – 믹스 다운로드를 클릭해 합산된 WAV 파일을 받거나, 파일 목록을 통해 개별 스템을 내보내세요.

키보드 단축키 – Space (재생/일시정지), [ / ] (5초 이전/이후 탐색), L (루프), I/O (루프 시작/종료), M (음소거), S (솔로), Shift+휠 (粗조 볼륨), 휠 (세부 볼륨).

커뮤니티 피드백 (Hacker News 요약)

사용자들은 개인정보 중심 접근 방식을 칭찬하며, 개인 연습 및 학습에 잘 맞는 도구라고 평가합니다.
일부는 Nuo Stems와 비교하며, mel_band_roformer와 같은 최신 모델을 사용하는 점을 언급합니다. StemDeck은 여전히 htdemucs_6s를 얇은 래퍼로 사용합니다.
한 댓글은 Audacity가 OpenVINO 플러그인을 통해 유사한 결과를 낼 수 있으며, 완전한 오픈소스 DAW를 선호하는 사용자에게 대안이 될 수 있다고 지적합니다.
Android 지원과 스템의 MIDI 변환 요청이 나타나며, 데스크톱을 넘어서는 워크플로우 확장에 대한 관심을 보입니다.
기술적 논의에서는 패키징의 어려움(파이썬/PyTorch 번들링, GPU 메모리 급증, 포트 충돌)이 언급되며, StemDeck의 설계가 첫 실행 시 의존성 부팅을 통해 큰 번들 설치 파일을 피한다는 점이 확인됩니다.

제한 사항 및 문제 해결

첫 실행 지연 – Demucs 모델 (~170 MiB)과 Python 런타임이 첫 실행 시 다운로드됩니다.
GPU 메모리 – 긴 트랙에서 6개 스템 Demucs는 4 GiB VRAM을 초과할 수 있으며, CUDA가 사용 불가능할 경우 CPU로 대체됩니다.
ffmpeg를 찾을 수 없음 – FFmpeg를 설치하고 다시 시작하세요 (./run.sh restart).
YouTube 다운로드 경고 – "지원되는 JavaScript 런타임 없음" 메시지를 제거하려면 deno를 설치하세요.
CPU 전용 속도 – 처리 속도가 느릴 수 있습니다. 현대 GPU를 사용하면 분리 시간이 크게 단축됩니다.

라이선스 및 면책 조항

더 알아보기

GitHub – https://github.com/stemdeckapp/stemdeck
Discord – https://discord.gg/YhCKsjhcwB
Reddit – https://www.reddit.com/r/StemDeckApp/
공식 사이트 – https://stemdeck.app/

결론

StemDeck은 클라우드 서비스의 핵심 기능을 그대로 유지하면서도 개인정보 보호와 비용 없이 사용 가능한 완전히 오프라인, 오픈소스 6개 스템 오디오 분리 솔루션을 제공합니다. 모듈식 아키텍처, 명확한 라이선스, 활발한 커뮤니티 덕분에 음악가, 교육자, 개발자들이 프로프라이어터 플랫폼의 부담 없이 로컬 스템 추출이 필요한 경우에 훌륭한 기반을 제공합니다.