magenta/magenta-realtime

Magenta RealTime 2: An Open-Weights Live Music Model

해결하는 문제

음악의 실시간 생성을 가능하게 하여 사용자가 재생 속도보다 빠르게 오디오 스트림을 생성할 수 있도록 합니다. 이를 통해 라이브 퍼포먼스 도구, DAW 플러그인 및 인터랙티브 음악 애플리케이션을 제작할 수 있습니다.

작동 방식

이 프로젝트는 두 가지 크기(230M 및 2.4B 파라미터)로 제공되는 오픈 웨이트 모델과 추론을 위한 다층 인프라를 제공합니다. 일반적인 추론에는 JAX 및 MLX 백엔드를 사용하는 Python 라이브러리(magenta-rt)를 사용하며, Apple Silicon MacBook에서 효율적인 스트리밍 오디오 생성을 위해 최적화된 특화된 C++ 추론 엔진(magentart::core)을 사용합니다.

대상 사용자

애플리케이션에 실시간 음악 생성을 내장하고자 하는 개발자 및 음악가, 디지털 오디오 워크스테이션(DAW)용 AUv3 플러그인을 구축하고자 하는 사용자, 또는 Python을 통해 음악 AI 모델을 실험하고자 하는 사용자.

주요 특징

  • 멀티 백엔드 지원: Python 추론을 위한 JAX 및 MLX 지원.
  • Apple Silicon 최적화: M 시리즈 칩에서 저지연 스트리밍을 위한 특화된 C++ 엔진.
  • 유연한 모델 크기: 폭넓은 호환성을 위한 소형 모델과 고품질을 위한 베이스 모델 제공.
  • DAW 통합: 음악 제작 소프트웨어에 원활하게 통합할 수 있는 올인원 AUv3 플러그인 예제 포함.

관련

  • 프로젝트
    antirez/h3.c

    Apple Silicon용 MiniMax-H3를 위한 네이티브 Metal 추론 엔진으로, 고급 메모리 및 성능 최적화를 통해 로컬 텍스트-비디오 및 텍스트-오디오 생성을 지원합니다.

  • 프로젝트
    Blaizzy/mlx-audio

    MLX‑Audio는 Apple의 MLX 프레임워크에서 작동하는 Python(및 선택적 Swift) 라이브러리로, 최신 음성-텍스트 변환, 텍스트-음성 변환, 음성-음성 변환, 음성 클론, VAD/다이어라이제이션, 음악 생성 모델을 대량으로 실행합니다. CLI 도구, Python API, 웹 UI, OpenAI 호환 REST 엔드포인트를 제공하며, 3~8비트 양자화를 통해 M 시리즈 칩에 큰 모델을 맞출 수 있습니다.

  • 프로젝트
    TheStageAI/TheWhisper

    NVIDIA GPU와 Apple Silicon에서 저지연 스트리밍 및 디바이스 내 추론에 최적화된, 파인튜닝된 Whisper 모델 기반의 고성능 음성-텍스트 솔루션입니다.

  • 프로젝트
    jjang-ai/vmlx

    Apple Silicon용 자체 호스팅 추론 서버로, OpenAI, Anthropic, Ollama와 호환되는 API를 제공하여 로컬에서 LLM, VLM 및 이미지 생성 모델을 실행합니다.

  • 프로젝트
    raullenchai/Rapid-MLX

    Rapid‑MLX는 Apple‑silicon에서 LLM, 확산, 오디오 및 비디오 모델을 로컬로 실행하고 OpenAI/Anthropic HTTP API를 즉시 사용할 수 있도록 하는 네이티브 인프런 엔진으로, LangChain, Claude Code, Aider 등 어떤 클라이언트도 M‑시리즈 맥에서 완전히 오프라인으로 실행할 수 있게 합니다.