Meta Muse Spark Open 816B 멀티모달 MoE 모델 출시

TL;DR

Meta가 Muse Spark Open을 공개했습니다. 이는 텍스트, 이미지, 오디오, 비디오를 처리하는 오픈 가중치 816 B 파라미터 멀티모달 mixture‑of‑experts(MoE) 모델로, 최대 1 M 토큰의 컨텍스트를 지원하며 에이전틱 코딩 및 도구 호출에 최적화되어 있습니다.

전체 아키텍처 및 규모

핵심 요점: Muse Spark Open은 256‑전문가 MoE 레이어가 토큰당 8개의 전문가를 선택하여, 총 816 B 파라미터 중 토큰당 약 42 B의 활성 파라미터만 사용합니다.

  • 모델 크기: 총 약 816 B 파라미터, 토큰당 약 42 B 활성.
  • MoE 구성: MoE 레이어당 256개 전문가, 토큰당 8개 전문가 라우팅.
  • 레이어: 62개의 트랜스포머 레이어, 히든 차원 8192, grouped‑query attention(128개의 쿼리 헤드, 16개의 키‑값 헤드, 헤드당 64차원).
  • 컨텍스트 창: 최대 1 048 576 토큰으로 텍스트, 이미지, 오디오, 비디오 토큰을 포함합니다.
  • 체크포인트 형식: BF16(약 1.5 TB safetensors) 및 NVFP4(NVIDIA Blackwell GPU용 4‑비트 양자화).
  • 파라미터 분포: 전문가가 파라미터의 약 97 %를 보유하며 토큰당 소수만 활성화되어, 42 B 밀집 모델과 유사한 추론 속도를 유지하면서 816 B 모델의 용량을 보존합니다.

멀티모달 인식 인코더

핵심 요점: 별도의 인코더가 시각 및 오디오 입력을 언어 모델과 호환되는 토큰 스트림으로 변환합니다.

이미지 및 비디오 인코더

  • 파라미터: 총 1.8 B, 50개 레이어, 히든 크기 1536, 16개 어텐션 헤드.
  • 패치 처리: 이미지를 14×14 패치로 분할하고 각 패치는 4096차원 피처를 생성합니다.
  • 위치 인코딩: 학습된 절대 임베딩과 2‑D RoPE를 사용합니다.
  • 어텐션 패턴: 4번째 레이어마다 전체 어텐션, 마지막 레이어는 전체 어텐션, 그 외에는 희소 어텐션.
  • 비디오 처리: 동일한 인코더가 비디오 프레임을 처리하며, 프레임은 다운샘플링(기본 2 FPS, 최대 96프레임)되고 타임스탬프 토큰과 인터리브됩니다.

오디오 인코더

  • 토큰화 속도: 80 ms마다 하나의 오디오 토큰(12.5토큰/초).
  • 아키텍처: 크기 [16, 6, 5, 4]의 패치 임베더 단계를 가진 컨볼루션 피라미드, 각 단계에는 두 개의 1‑D 컨볼루션 블록(커널 7, 스트라이드 1)이 포함됩니다.
  • 최종 투영: RMSNorm → 선형 → RMSNorm.
  • 입력 요구 사항: 24 kHz의 모노 파형, 1 920샘플의 배수로 패딩.

긴 컨텍스트 메커니즘

핵심 요점: Grouped‑query attention은 KV 캐시를 관리 가능하게 유지하며, BF16에서 토큰당 약 250 KB(전체 1 M‑토큰 컨텍스트의 경우 약 266 GB)가 필요합니다.

  • 토큰당 KV 캐시 크기: 2 × 16헤드 × 64차원 × 62레이어 = 126 976값.
  • 의미: 방대한 코드베이스, 멀티모달 문서 또는 탐색 기록을 포함할 수 있는 매우 긴 프롬프트를 가능하게 합니다.

추론 인터페이스

핵심 요점: 모델은 여러 인기 서빙 스택을 통해 노출되며, 각 스택은 전체 멀티모달 토큰화 파이프라인을 지원합니다.

Transformers(HF AutoModelForMultimodalLM)

  • MuseSparkProcessor를 사용하여 토크나이저, 이미지/비디오 프로세서 및 오디오 피처 추출기를 결합합니다.
  • DistributedConfig(tp_size는 텐서 병렬화, ep_size는 전문가 병렬화)를 통해 병렬 처리를 구성합니다.
  • 예제 코드 스니펫은 로딩, 채팅 템플릿 준비 및 최대 2000개의 새 토큰 생성을 보여줍니다.

텍스트 전용, 이미지‑텍스트, 비디오 및 오디오 추론

  • 텍스트 전용: 추론 노력 수준(low/medium/high/xhigh)은 내부 정수에 매핑되며, 추론은 비활성화할 수 없습니다.
  • 이미지‑텍스트: 프로세서가 이미지 마커를 패치 토큰으로 확장하여 주변 텍스트와의 정렬을 유지합니다.
  • 비디오: 프레임은 다운샘플링되고, 타임스탬프가 삽입되며, 선택적으로 오디오 추출(load_audio_from_video=True).
  • 오디오: 프로세서가 리샘플링, 패딩 및 토큰 삽입을 자동으로 처리합니다.

도구 호출

  • 텍스트 전용 및 멀티모달 도구 호출을 모두 지원합니다.
  • 채널 기반 채팅 템플릿(Harmony)을 사용하며, 수신자는 self(추론용), commentary(도구 호출 주석용), user(최종 답변용)로 구분됩니다.
  • 예시는 이미지를 본 후 날씨 API를 호출하는 방법을 보여줍니다.

서빙 스택 통합

핵심 요점: Muse Spark Open은 llama.cpp, SGLang, vLLM 및 MLX로 배포할 수 있으며, 각각 다양한 하드웨어에 맞는 양자화 변형을 제공합니다.

  • llama.cpp: 2‑비트 GGUF 양자화(Q2_K)는 Mac M3 Ultra(512 GB)에서 약 18 토큰/초로 실행되며 충분한 KV 캐시 공간을 제공합니다.
  • SGLang: NVFP4 체크포인트는 4개의 GB300 GPU에서 실행되며, API는 최종 content와 reasoning_content를 분리합니다.
  • vLLM: NVFP4 체크포인트는 전문가 병렬화를 지원하며 128 K 토큰 컨텍스트 길이를 지원합니다.
  • MLX / oMLX: 3‑비트 및 4‑비트 양자화(oQ3e, oQ4e)는 Apple Silicon에서 실행되며, 3‑비트 모델은 약 344 GB RAM을 사용하여 225 토큰/초 프리필 및 21 토큰/초 생성(1024‑프롬프트, 128‑토큰 생성)을 달성합니다.

TRL을 사용한 파인튜닝

핵심 요점: 전체 크기 체크포인트는 모든 전문가를 동결한 상태에서 LoRA 어댑터를 통해 파인튜닝할 수 있어 효율적인 적응이 가능합니다.

  • 병렬 처리: DistributedConfig(fsdp_size=64, ep_size=8)는 모델을 64개의 H100 GPU에 샤딩하고 전문가를 8개 그룹으로 분산시킵니다.
  • LoRA 대상: 어텐션 투영 행렬(q_proj, k_proj, v_proj, o_proj).
  • 학습 실행: 8 × 8 H100 노드(총 64 GPU)에서 500스텝, 약 8 000 토큰/초, 토큰 정확도가 72 %에서 84 %로, 손실이 1.26에서 0.57로 개선되었습니다.
  • 스크립트 하이라이트: packing=True는 예제를 2048‑토큰 시퀀스로 병합하고, save_only_model=True는 LoRA 어댑터만 저장합니다.

Hugging Face Inference Endpoints 배포

핵심 요점: 단일 CLI 명령으로 NVFP4 변형을 OpenAI 호환 엔드포인트에 배포하고 선택적으로 1 M‑토큰 컨텍스트를 지원합니다.

hf endpoints catalog deploy --repo meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --name muse-spark
  • /v1/chat/completions 및 /v1/responses API를 모두 지원합니다.
  • 8 × RTX Pro 6000(98 GB)에서 131 072‑토큰 컨텍스트로, 또는 8 × H200(141 GB)에서 전체 1 M‑토큰 창으로 작동합니다.

에이전틱 멀티모달리티 데모

핵심 요점: 모델은 비전, 오디오 및 대화형 도구 사용을 결합한 코딩 중심 작업에 탁월합니다.

  • 3D 에셋 생성기: 양자화된 모델(2‑비트)이 Pi 코딩 에이전트를 구동하여 시각적 피드백 루프를 사용해 Three.js 에셋을 생성하고 반복적으로 개선합니다.
  • 브라우저 에이전트(OpenEnv + HF Sandbox): Muse Spark Open은 스크린샷과 오디오 프롬프트를 받아 작업을 결정하고, DOM 정보 없이 헤드리스 Chromium 브라우저와 상호 작용합니다.
  • Call‑Your‑Browser Space: Amazon에서 음성 기반 제품 검색을 지원하여 멀티모달 추론, 도구 호출 및 오디오 입력 처리를 보여줍니다.

마무리

Muse Spark Open은 현재까지 공개된 가장 큰 오픈 가중치 멀티모달 MoE 모델로, 텍스트, 이미지, 오디오 및 비디오 입력을 위한 통합 인터페이스와 1 M‑토큰 컨텍스트 창, 내장된 에이전틱 추론 및 도구 호출 기능을 제공합니다. 모델은 BF16 및 NVFP4 체크포인트로 제공되며 다양한 하드웨어를 위한 수많은 양자화 변형이 있고, 전문가를 동결한 상태에서 LoRA를 통해 파인튜닝할 수 있습니다. 연구자와 개발자는 Hugging Face Transformers, llama.cpp, SGLang, vLLM, MLX 또는 호스팅된 Inference Endpoints를 통해 즉시 실험을 시작할 수 있습니다.

Sources