kanaworksai-hue/audio-studio-mcp

Local AI BGM and sound effects for Claude Code and any MCP client. Stable Audio 3 on Apple Silicon (MLX) and Windows NVIDIA GPUs (PyTorch). No cloud, no API key.

Audio Studio MCP – ローカルAI音楽＆SFXサーバー

概要 – Claude Code、Claude Desktop、Cursor、その他のMCP互換クライアントが、平易な英語でBGM、楽器ループ、効果音をリクエストできる、小規模な自己ホスト型サーバーです。リクエストは、Mac（Apple Silicon）またはWindows PC（NVIDIA GPU）上でローカルに処理され、オープンソースの音声生成用拡散モデルであるStable Audio 3によって実行されます。サーバーは、すぐに使えるWAV/OGG/FLACファイルと、プロンプト、シード、設定を記録したJSONサイドカーを返します。

主な機能（READMEより）

機能	説明
生成	音楽、楽器ステム、SFXのテキストから音声への変換。呼び出しごとに1〜4候補、音楽の場合はオプションでBPM指定。
編集	クリップ全体のリスタイル、時間範囲のインペイント、トラックの継続（延長）。
仕上げ	ポストプロセス：シームレスループ、フェード、ラウドネス正規化（LUFS）、44.1 kHz 24ビットWAV/OGG/FLACへの変換。
ローカル	完全にオンデバイスで実行 – Apple SiliconはMLX経由、NVIDIA GPUはPyTorch経由。クラウドなし、APIキーなし、生成ごとのコストなし。
再現可能	各出力には、正確なプロンプト、シード、パラメータを記録した`.json`サイドカーが付属。
MCP統合	MCPクライアントが呼び出せる`generate_audio`、`edit_audio`、`process_audio`、`unload_models`ツールを公開。

クイックスタート（概要）

macOS（Apple Silicon）

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
./install.sh          # uvをセットアップし、.venvを作成し、Stable‑Audio‑3ランタイムをクローンし、mediumモデルをダウンロード（約6 GB）

インストーラーは、サーバーをClaudeに登録するために必要な正確なコマンドを出力します：

claude mcp add --scope user audio-studio -- /path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp

Windows（NVIDIA GPU）

git clone https://github.com/kanaworksai-hue/audio-studio-mcp.git
cd audio-studio-mcp
powershell -ExecutionPolicy Bypass -File install.ps1

初回はHugging Faceトークンが求められます（PyTorchの重みはゲート付き）。インストール後、サーバーを登録：

claude mcp add --scope user audio-studio -- "C:\path\to\audio-studio-mcp\.venv\Scripts\audio-studio-mcp.exe"

使用方法（MCPクライアント経由）

サーバーをクライアントのMCP設定に追加します。例：

{
  "mcpServers": {
    "audio-studio": { "command": "/path/to/audio-studio-mcp/.venv/bin/audio-studio-mcp" }
  }
}

その後、モデルに自然言語でリクエストできます。例：

「カフェシーン用に85 BPMの60秒のローファイBGMループを作成して、3候補ください。」
「石造りの廊下で重い木のドアがバタンと閉まる音が必要です。Godot用にOGGでエクスポートして。」
「このトラックを90秒に延長して、-16 LUFSにノーマライズして。」クライアントはサーバーが公開するgenerate_audio、edit_audio、process_audioツールを呼び出し、処理された音声ファイルとそのJSONメタデータを受け取ります。

パフォーマンススナップショット（READMEより）

プラットフォーム	タスク	おおよその時間
M1 Mac（mediumモデル）	20 秒音楽（ウォーム）	~10 秒（約2倍リアルタイム）
RTX 3060（mediumモデル）	20 秒音楽（ウォーム）	~1.3 秒
RTX 3060（mediumモデル）	全380 秒トラック（ウォーム）	~15 秒
mediumモデルのメモリ	Mac: 5‑7 GB RAM、Windows: ~5.3 GB VRAM

設定（環境変数）

AUDIO_STUDIO_OUTPUT_DIR – 生成ファイルの書き出し先（デフォルト repo/outputs）。
AUDIO_STUDIO_SA3_MODEL – medium（デフォルト）、sm-music、sm-sfx（より小型で高速なモデル）。
AUDIO_STUDIO_DEVICE – cuda（Windowsで利用可能な場合デフォルト）または cpu。
AUDIO_STUDIO_IDLE_UNLOAD_MIN – モデルが解放されるまでの非アクティブ時間（分）（デフォルト10）。
その他の変数は、キャッシュサイズ、バックエンド選択、ffmpegパスなどを制御します。

ライセンスと商用利用

コードはMITライセンスでリリースされています。
モデルの重みはStability AI Community Licenseの下にあり、年間100万米ドル未満の収益の企業は商用利用が許可されています（詳細はライセンスを確認してください）。

誰に役立つか？

IDEを離れずにロイヤリティフリーのループやSFXが必要なゲーム開発者。
手軽なBGMを探している動画クリエイター。
完全オフラインのワークフローでAI生成オーディオを試したい人。

ロードマップ（記載の通り）

✅ Apple Siliconバックエンド（MLX）
✅ Windows NVIDIAバックエンド（PyTorch）
⬜ LoRAサポート（上流ランタイムには既に搭載）

結論： Audio Studio MCPは、ゲーム開発や動画制作のワークフローに焦点を当て、ローカルでゼロコストのAI音声生成を任意のMCP互換クライアントにもたらす、本物のオープンソースツールです。