magenta/magenta-realtime

Magenta RealTime 2: An Open-Weights Live Music Model

解決的問題

它實現了音樂的即時生成，允許使用者以快於播放的速度建立音訊串流。這使得建立現場表演工具、DAW 插件和互動式音樂應用程式成為可能。

工作原理

該專案提供兩種尺寸（230M 和 2.4B 參數）的開源權重模型以及用於推論的多層基礎設施。它使用帶有 JAX 和 MLX 後端的 Python 函式庫 (magenta-rt) 進行通用推論，並使用專用的 C++ 推論引擎 (magentart::core)，該引擎針對 Apple Silicon MacBook 上高效的音訊串流生成進行了優化。

適用對象

想要將即時音樂生成嵌入到應用程式中、建立數位音訊工作站 (DAW) 的 AUv3 插件，或透過 Python 實驗音樂 AI 模型的開發人員和音樂家。

亮點

  • 多後端支援：支援用於 Python 推論的 JAX 和 MLX。
  • Apple Silicon 優化：專為 M 系列晶片上的低延遲串流設計的 C++ 引擎。
  • 靈活的模型尺寸：提供用於廣泛相容的小型模型和用於更高品質的基礎模型。
  • DAW 整合：包含一個全能型 AUv3 插件範例，可無縫整合到音樂製作軟體中。

相關

  • 專案
    antirez/h3.c

    專為 Apple Silicon 上的 MiniMax-H3 開發的原生 Metal 推理引擎，透過先進的記憶體與效能優化，實現本地端文字轉影片與文字轉音訊生成。

  • 專案
    Blaizzy/mlx-audio

    MLX‑Audio 是一個 Python（及可選 Swift）庫，可在 Apple 的 MLX 框架上執行大量現代語音轉文字、文字轉語音、語音轉語音、語音克隆、VAD/分離與音樂生成模型。它提供 CLI 工具、Python API、Web UI 和 OpenAI 相容 REST 端點，支援 3 至 8 位量化，使大模型適配 M 系列晶片。

  • 專案
    TheStageAI/TheWhisper

    基於微調的 Whisper 模型，針對 NVIDIA GPU 與 Apple Silicon 上的低延遲串流與設備內推論優化之高效能語音轉文字解決方案。

  • 專案
    jjang-ai/vmlx

    一個自託管的 Apple Silicon 推理伺服器，提供相容 OpenAI、Anthropic 與 Ollama 的 API，讓本機執行 LLM、VLM 與影像生成模型。

  • 專案
    raullenchai/Rapid-MLX

    Rapid‑MLX 是一個原生的 Apple‑silicon 推理引擎，可在本地運行 LLM、擴散、音訊與影片模型，並提供即插即用的 OpenAI/Anthropic HTTP API，讓任何客戶端（LangChain、Claude Code、Aider 等）都能在 M‑series Mac 上完全離線運行。