magenta/magenta-realtime

Magenta RealTime 2: An Open-Weights Live Music Model

解決する課題

音楽のリアルタイム生成を可能にし、ユーザーが再生速度よりも速くオーディオストリームを作成できるようにします。これにより、ライブパフォーマンスツール、DAWプラグイン、インタラクティブな音楽アプリケーションの作成が可能になります。

仕組み

このプロジェクトは、2つのサイズ（230Mおよび2.4Bパラメータ）で提供されるオープンウェイトモデルと、推論用の多層インフラストラクチャを提供します。一般的な推論には、JAXおよびMLXバックエンドを備えたPythonライブラリ（magenta-rt）を使用し、Apple Silicon搭載MacBookでの効率的なストリーミングオーディオ生成に最適化された専用のC++推論エンジン（magentart::core）を使用します。

対象者

アプリケーションにリアルタイム音楽生成を組み込みたい開発者やミュージシャン、デジタル・オーディオ・ワークステーション（DAW）用のAUv3プラグインを構築したい方、またはPython経由で音楽AIモデルを試したい方。

ハイライト

  • マルチバックエンド対応: Python推論用にJAXおよびMLXをサポート。
  • Apple Siliconの最適化: Mシリーズチップでの低遅延ストリーミング用に特化したC++エンジン。
  • 柔軟なモデルサイズ: 幅広い互換性のための小型モデルと、高品質なベースモデルを提供。
  • DAW統合: 音楽制作ソフトウェアへのシームレスな統合のための、オールインワンAUv3プラグインの例を含む。

関連

  • プロジェクト
    antirez/h3.c

    Apple Silicon上のMiniMax-H3向けにネイティブMetal推論エンジンを開発。高度なメモリとパフォーマンスの最適化により、ローカルでのテキストから動画・音声への生成を可能にします。

  • プロジェクト
    Blaizzy/mlx-audio

    MLX‑Audioは、AppleのMLXフレームワーク上で動作するPython（およびオプションのSwift）ライブラリで、現代の音声認識・音声合成・音声間変換・ボイスクローン・VAD/ダイアライゼーション・音楽生成モデルの多数を実行します。CLIツール、Python API、Web UI、OpenAI互換RESTエンドポイントを提供し、3〜8ビットの量子化によりMシリーズチップに大規模モデルを収めることが可能です。

  • プロジェクト
    TheStageAI/TheWhisper

    NVIDIA GPUおよびApple Silicon上で、低レイテンシのストリーミングとデバイス内推論に最適化された、ファインチューニングされたWhisperモデルに基づく高パフォーマンスな音声認識ソリューション。

  • プロジェクト
    jjang-ai/vmlx

    Apple Silicon 用のセルフホスト型推論サーバーで、OpenAI、Anthropic、Ollama 互換の API を提供し、ローカルで LLM、VLM、画像生成モデルを実行できます。

  • プロジェクト
    raullenchai/Rapid-MLX

    Rapid‑MLX は、Apple‑silicon 上で LLM、拡散モデル、音声、動画モデルをローカルで実行し、OpenAI/Anthropic 互換の HTTP API を提供するネイティブな推論エンジンです。これにより、LangChain、Claude Code、Aider など任意のクライアントが M‑シリーズ Mac 上で完全にオフラインで動作可能になります。