kanaworksai-hue/audio-studio-mcp

Local AI BGM and sound effects for Claude Code and any MCP client. Stable Audio 3 on Apple Silicon (MLX) and Windows NVIDIA GPUs (PyTorch). No cloud, no API key.

Audio Studio MCP – 本地AI音乐与音效服务器

简介 – 一个小型自托管服务器，允许Claude Code、Claude Desktop、Cursor或任何其他MCP兼容客户端用自然语言请求背景音乐、乐器循环或音效。请求在您的Mac（Apple Silicon）或Windows PC（NVIDIA GPU）上由Stable Audio 3（一个开源的音频生成扩散模型）本地处理。服务器返回可直接使用的WAV/OGG/FLAC文件，以及记录提示词、种子和设置的JSON副文件。

主要功能（来自README）

功能	说明
生成	音乐、乐器分轨或音效的文本转音频。每次调用可生成1-4个候选，音乐可选BPM。
编辑	重新风格化整个片段、修复时间范围或继续（延长）曲目。
完成	后处理：无缝循环、淡入淡出、响度标准化（LUFS）、转换为44.1kHz 24位WAV/OGG/FLAC。
本地	完全在设备上运行 – Apple Silicon通过MLX，NVIDIA GPU通过PyTorch。无云、无API密钥、无每次生成成本。
可复现	每个输出附带一个`.json`副文件，记录精确的提示词、种子和参数。
MCP集成	公开`generate_audio`、`edit_audio`、`process_audio`和`unload_models`工具，供MCP客户端调用。

快速开始（概要）

macOS（Apple Silicon）

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
./install.sh          # 设置uv，创建.venv，克隆Stable‑Audio‑3运行时，下载medium模型（约6 GB）

安装程序会打印您需要向Claude注册服务器的确切命令：

claude mcp add --scope user audio-studio -- /path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp

Windows（NVIDIA GPU）

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
powershell -ExecutionPolicy Bypass -File install.ps1

第一次会要求您提供Hugging Face令牌（PyTorch权重受门控）。安装后，注册服务器：

claude mcp add --scope user audio-studio -- "C:\path\to\audio-studio-mcp\.venv\Scripts\audio-studio-mcp.exe"

使用方法（通过MCP客户端）

将服务器添加到客户端的MCP配置中，例如：

{
  "mcpServers": {
    "audio-studio": { "command": "/path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp" }
  }
}

然后，您可以用自然语言向模型提问，例如：

“为咖啡馆场景制作一个85 BPM的60秒低保真BGM循环，给我3个选项。”
“我需要一扇沉重的木门在石头走廊里砰然关上的声音。请导出为OGG，用于Godot。”
“将这首曲目延长到90秒，并标准化为-16 LUFS。” 客户端将调用服务器公开的generate_audio、edit_audio或process_audio工具，并接收处理后的音频文件及其JSON元数据。

性能概览（来自README）

平台	任务	大约时间
M1 Mac（medium模型）	20 秒音乐（预热）	~10 秒（约2倍实时）
RTX 3060（medium模型）	20 秒音乐（预热）	~1.3 秒
RTX 3060（medium模型）	完整380 秒曲目（预热）	~15 秒
medium模型内存	Mac: 5‑7 GB RAM，Windows: ~5.3 GB VRAM

配置（环境变量）

AUDIO_STUDIO_OUTPUT_DIR – 生成文件的写入位置（默认repo/outputs）。
AUDIO_STUDIO_SA3_MODEL – medium（默认）、sm-music或sm-sfx用于更小、更快的模型。
AUDIO_STUDIO_DEVICE – cuda（Windows上可用时默认）或cpu。
AUDIO_STUDIO_IDLE_UNLOAD_MIN – 模型释放前的非活动分钟数（默认10）。
其他变量控制缓存大小、后端选择、ffmpeg路径等。

许可证与商业用途

代码以MIT许可证发布。
模型权重依据Stability AI社区许可证，年收入低于100万美元的实体允许商业使用（详情请查看许可证）。

谁可能觉得有用？

需要免版税循环或音效但不想离开IDE的游戏开发者。
寻找快速背景音乐的视频创作者。
任何想要尝试完全离线工作流的AI生成音频的人。

路线图（如所列）

✅ Apple Silicon后端（MLX）
✅ Windows NVIDIA后端（PyTorch）
⬜ LoRA支持（上游运行时已有）

总结： Audio Studio MCP是一个真正的开源工具，将本地、零成本的AI音频生成带入任何兼容MCP的客户端，专注于游戏开发和视频制作工作流。