magenta/magenta-realtime

Magenta RealTime 2: An Open-Weights Live Music Model

解决的问题

它实现了音乐的实时生成，允许用户以快于播放的速度创建音频流。这使得创建现场表演工具、DAW 插件和交互式音乐应用成为可能。

工作原理

该项目提供两种尺寸（230M 和 2.4B 参数）的开源权重模型以及用于推理的多层基础设施。它使用带有 JAX 和 MLX 后端的 Python 库 (magenta-rt) 进行通用推理，并使用专门的 C++ 推理引擎 (magentart::core)，该引擎针对 Apple Silicon MacBook 上高效的音频流媒体生成进行了优化。

适用对象

想要将实时音乐生成嵌入到应用程序中、构建数字音频工作站 (DAW) 的 AUv3 插件，或通过 Python 实验音乐 AI 模型的开发人员和音乐家。

亮点

  • 多后端支持：支持用于 Python 推理的 JAX 和 MLX。
  • Apple Silicon 优化：专为 M 系列芯片上的低延迟流媒体设计的 C++ 引擎。
  • 灵活的模型尺寸：提供用于广泛兼容的小型模型和用于更高质量的基础模型。
  • DAW 集成：包含一个全能型 AUv3 插件示例，可无缝集成到音乐制作软件中。

相关

  • 项目
    antirez/h3.c

    专为 Apple Silicon 上的 MiniMax-H3 开发的原生 Metal 推理引擎，通过先进的内存与性能优化，实现本地端文本转视频与文本转音频生成。

  • 项目
    Blaizzy/mlx-audio

    MLX‑Audio 是一个 Python（及可选 Swift）库，可在 Apple 的 MLX 框架上运行大量现代语音转文本、文本转语音、语音转语音、语音克隆、VAD/分离和音乐生成模型。它提供 CLI 工具、Python API、Web UI 和 OpenAI 兼容 REST 端点，支持 3 至 8 位量化，使大模型适配 M 系列芯片。

  • 项目
    TheStageAI/TheWhisper

    基于微调的 Whisper 模型，专为 NVIDIA GPU 和 Apple Silicon 上的低延迟流式传输和设备内推理优化的高性能语音转文本解决方案。

  • 项目
    jjang-ai/vmlx

    一个自托管的 Apple Silicon 推理服务器，提供兼容 OpenAI、Anthropic 和 Ollama 的 API，以在本地运行 LLM、VLM 和图像生成模型。

  • 项目
    raullenchai/Rapid-MLX

    Rapid‑MLX 是一个原生 Apple‑silicon 推理引擎，可在本地运行 LLM、扩散、音频和视频模型，并暴露一个即插即用的 OpenAI/Anthropic HTTP API，使任何客户端（LangChain、Claude Code、Aider 等）都能在 M‑series Mac 上完全离线运行。