kanaworksai-hue/audio-studio-mcp

Local AI BGM and sound effects for Claude Code and any MCP client. Stable Audio 3 on Apple Silicon (MLX) and Windows NVIDIA GPUs (PyTorch). No cloud, no API key.

Audio Studio MCP – 로컬 AI 음악 및 SFX 서버

개요 – Claude Code, Claude Desktop, Cursor 또는 기타 MCP 호환 클라이언트가 평이한 영어로 배경 음악, 악기 루프 또는 효과음을 요청할 수 있는 소규모 자체 호스팅 서버입니다. 요청은 Mac(Apple Silicon) 또는 Windows PC(NVIDIA GPU)에서 Stable Audio 3(오디오 생성을 위한 오픈소스 확산 모델)에 의해 로컬로 처리됩니다. 서버는 바로 사용할 수 있는 WAV/OGG/FLAC 파일과 함께 프롬프트, 시드, 설정을 기록한 JSON 사이드카를 반환합니다.

주요 기능 (README에서)

기능	설명
생성	음악, 악기 스템 또는 SFX를 위한 텍스트-투-오디오. 호출당 1-4개 후보, 음악에는 선택적 BPM.
편집	전체 클립 재스타일링, 시간 범위 인페인트, 트랙 계속(연장).
마무리	후처리: 원활한 루핑, 페이드, 라우드니스 정규화(LUFS), 44.1kHz 24비트 WAV/OGG/FLAC 변환.
로컬	완전히 온디바이스 실행 – Apple Silicon은 MLX, NVIDIA GPU는 PyTorch. 클라우드 없음, API 키 없음, 생성당 비용 없음.
재현 가능	각 출력에는 정확한 프롬프트, 시드, 매개변수가 기록된 `.json` 사이드카가 포함됩니다.
MCP 통합	`generate_audio`, `edit_audio`, `process_audio`, `unload_models` 도구를 노출하여 MCP 클라이언트가 호출할 수 있습니다.

빠른 시작 (요약)

macOS (Apple Silicon)

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
./install.sh          # uv 설정, .venv 생성, Stable‑Audio‑3 런타임 클론, medium 모델 다운로드 (약 6 GB)

설치 프로그램은 서버를 Claude에 등록하는 데 필요한 정확한 명령을 출력합니다:

claude mcp add --scope user audio-studio -- /path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp

Windows (NVIDIA GPU)

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
powershell -ExecutionPolicy Bypass -File install.ps1

처음에 Hugging Face 토큰을 요청합니다(PyTorch 가중치는 게이트됨). 설치 후 서버 등록:

claude mcp add --scope user audio-studio -- "C:\path\to\audio-studio-mcp\.venv\Scripts\audio-studio-mcp.exe"

사용 방법 (MCP 클라이언트를 통해)

클라이언트의 MCP 구성에 서버를 추가합니다. 예:

{
  "mcpServers": {
    "audio-studio": { "command": "/path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp" }
  }
}

그런 다음 자연어로 모델에 요청할 수 있습니다. 예:

"카페 장면에 85 BPM의 60초 로파이 BGM 루프를 만들어 주세요. 후보 3개 주세요."
"돌 복도에서 무거운 나무 문이 쾅 닫히는 소리가 필요해요. Godot용으로 OGG로 내보내 주세요."
"이 트랙을 90초로 연장하고 -16 LUFS로 정규화해 주세요." 클라이언트는 서버가 노출하는 generate_audio, edit_audio, process_audio 도구를 호출하고 처리된 오디오 파일과 JSON 메타데이터를 받습니다.

성능 스냅샷 (README에서)

플랫폼	작업	대략적인 시간
M1 Mac (medium 모델)	20초 음악 (웜)	~10초 (약 2배 실시간)
RTX 3060 (medium 모델)	20초 음악 (웜)	~1.3초
RTX 3060 (medium 모델)	전체 380초 트랙 (웜)	~15초
medium 모델 메모리	Mac: 5-7 GB RAM, Windows: ~5.3 GB VRAM

구성 (환경 변수)

AUDIO_STUDIO_OUTPUT_DIR – 생성 파일이 쓰이는 위치 (기본값 repo/outputs).
AUDIO_STUDIO_SA3_MODEL – medium (기본값), sm-music, sm-sfx (더 작고 빠른 모델).
AUDIO_STUDIO_DEVICE – cuda (Windows에서 사용 가능한 경우 기본값) 또는 cpu.
AUDIO_STUDIO_IDLE_UNLOAD_MIN – 모델이 해제되기 전 비활성 시간(분) (기본값 10).
다른 변수는 캐시 크기, 백엔드 선택, ffmpeg 경로 등을 제어합니다.

라이선스 및 상업적 사용

코드는 MIT 라이선스로 배포됩니다.
모델 가중치는 Stability AI Community License 하에 있으며, 연간 수익이 100만 달러 미만인 법인은 상업적 사용이 허용됩니다(자세한 내용은 라이선스 확인).

누구에게 유용한가요?

IDE를 벗어나지 않고 로열티 없는 루프나 SFX가 필요한 게임 개발자.
빠른 배경 음악을 찾는 비디오 제작자.
완전히 오프라인 워크플로에서 AI 생성 오디오를 실험하려는 모든 사람.

로드맵 (나열된 대로)

✅ Apple Silicon 백엔드 (MLX)
✅ Windows NVIDIA 백엔드 (PyTorch)
⬜ LoRA 지원 (상위 런타임에 이미 있음)

결론: Audio Studio MCP는 게임 개발 및 비디오 제작 워크플로에 초점을 맞춰 로컬, 무료 AI 오디오 생성을 모든 MCP 호환 클라이언트에 제공하는 진정한 오픈소스 도구입니다.