Meta Muse Spark Open 816B マルチモーダル MoE モデルリリース

TL;DR

Meta は Muse Spark Open を発表しました。これは、テキスト、画像、音声、ビデオを処理し、最大 1M トークンのコンテキストをサポートし、エージェント型コーディングとツール呼び出しに最適化された、オープンウェイトの 816B パラメータのマルチモーダル混合エキスパート (MoE) モデルです。

全体アーキテクチャとスケール

要点: Muse Spark Open は、トークンごとに 8 つのエキスパートを選択する 256 エキスパート MoE レイヤーにより、トークンあたり約 42B のアクティブパラメータのみで、816B の総パラメータ数を実現しています。

  • モデルサイズ: 合計約 816B パラメータ。トークンあたり約 42B アクティブ。
  • MoE 構成: MoE レイヤーごとに 256 エキスパート、トークンごとに 8 エキスパートがルーティングされます。
  • レイヤー: 62 トランスフォーマーレイヤー、隠れ次元 8192、グループ化クエリ注意 (128 クエリヘッド、16 キー・バリューヘッド、ヘッドあたり 64 次元)。
  • コンテキストウィンドウ: 最大 1,048,576 トークン。テキスト、画像、音声、ビデオトークンを含みます。
  • チェックポイント形式: BF16 (約 1.5TB safetensors) と NVFP4 (NVIDIA Blackwell GPU 用の 4 ビット量子化)。
  • パラメータ分布: エキスパートはパラメータの約 97% を保持し、トークンごとにアクティブなのは一部のみであるため、816B モデルの容量を維持しながら、42B の高密度モデルに匹敵する推論速度を実現します。

マルチモーダル知覚エンコーダー

要点: 個別のエンコーダーが視覚入力と音声入力を言語モデルと互換性のあるトークンストリームに変換します。

画像・ビデオエンコーダー

  • パラメータ: 合計 1.8B、50 レイヤー、隠れサイズ 1536、16 アテンションヘッド。
  • パッチ処理: 画像は 14×14 パッチに分割され、各パッチから 4096 次元の特徴が生成されます。
  • 位置エンコーディング: 学習された絶対埋め込みと 2 次元 RoPE。
  • アテンションパターン: 4 レイヤーごとと最終レイヤーではフルアテンション、その他ではスパースアテンション。
  • ビデオ処理: 同じエンコーダーがビデオフレームを処理します。フレームはダウンサンプリングされ (デフォルト 2 FPS、最大 96 フレーム)、タイムスタンプトークンとインターリーブされます。

音声エンコーダー

  • トークン化レート: 80 ミリ秒ごとに 1 つの音声トークン (12.5 トークン/秒)。
  • アーキテクチャ: サイズ [16, 6, 5, 4] のパッチ埋め込みステージを持つ畳み込みピラミッド。各ステージには 2 つの 1 次元畳み込みブロック (カーネル 7、ストライド 1) が含まれます。
  • 最終投影: RMSNorm → 線形 → RMSNorm。
  • 入力要件: 24kHz のモノラル波形で、1,920 サンプルの倍数にパディングされます。

ロングコンテキストのメカニズム

要点: グループ化クエリ注意により KV キャッシュを管理可能に保ち、BF16 でトークンあたり約 250KB (フル 1M トークンコンテキストで約 266GB) を必要とします。

  • トークンあたりの KV キャッシュサイズ: 2 × 16 ヘッド × 64 次元 × 62 レイヤー = 126,976 値。
  • 影響: 広範なコードベース、マルチモーダルドキュメント、閲覧履歴などを含む非常に長いプロンプトを可能にします。

推論インターフェース

要点: このモデルは、複数の一般的なサービングスタックを介して公開されており、それぞれが完全なマルチモーダルトークン化パイプラインをサポートしています。

Transformers (HF AutoModelForMultimodalLM)

  • MuseSparkProcessor を使用して、トークナイザー、画像・ビデオプロセッサー、音声特徴抽出器を組み合わせます。
  • DistributedConfig (tp_size はテンソル並列処理、ep_size はエキスパート並列処理) を介して並列処理を構成します。
  • コードスニペットの例は、読み込み、チャットテンプレートの準備、最大 2000 新しいトークンの生成を示しています。

テキストのみ、画像テキスト、ビデオ、および音声推論

  • テキストのみ: 推論努力レベル (low/medium/high/xhigh) は内部整数にマップされます。推論を無効にすることはできません。
  • 画像テキスト: プロセッサーが画像マーカーをパッチトークンに展開し、周囲のテキストとの整合性を維持します。
  • ビデオ: フレームはダウンサンプリングされ、タイムスタンプが挿入され、オプションで音声抽出が行われます (load_audio_from_video=True)。
  • 音声: プロセッサーがリサンプリング、パディング、トークン挿入を自動的に処理します。

ツール呼び出し

  • テキストのみとマルチモーダルの両方のツール呼び出しをサポートします。
  • チャネルベースのチャットテンプレート (Harmony) を使用し、受信者を区別します (self は推論用、commentary はツール呼び出しのコメント用、user は最終回答用)。
  • 例では、画像を見た後に天気 API を呼び出す方法を示しています。

サービングスタックの統合

要点: Muse Spark Open は、llama.cpp、SGLang、vLLM、MLX を使用してデプロイでき、それぞれがさまざまなハードウェア向けの量子化バリアントを提供します。

  • llama.cpp: 2 ビット GGUF 量子化 (Q2_K) は、Mac M3 Ultra (512GB) で約 18 トークン/秒で動作し、十分な KV キャッシュスペースがあります。
  • SGLang: NVFP4 チェックポイントは 4 つの GB300 GPU で動作します。API は reasoning_content と最終的な content を分離します。
  • vLLM: エキスパート並列処理を備えた NVFP4 チェックポイント。128K トークンのコンテキスト長をサポートします。
  • MLX / oMLX: 3 ビットおよび 4 ビット量子化 (oQ3e、oQ4e) が Apple Silicon で動作します。3 ビットモデルは約 344GB の RAM を消費し、225 トークン/秒のプリフィルと 21 トークン/秒の生成を実現します (1024 プロンプト、128 トークン生成)。

TRL によるファインチューニング

要点: フルサイズのチェックポイントは、すべてのエキスパートを凍結したまま LoRA アダプターを介してファインチューニングでき、効率的な適応を可能にします。

  • 並列処理: DistributedConfig(fsdp_size=64, ep_size=8) は、モデルを 64 個の H100 GPU にシャーディングし、エキスパートを 8 つのグループに分散します。
  • LoRA ターゲット: アテンション投影行列 (q_proj、k_proj、v_proj、o_proj)。
  • トレーニング実行: 8 × 8 H100 ノード (合計 64 GPU) で 500 ステップ、約 8,000 トークン/秒、トークン精度は 72% から 84% に向上し、損失は 1.26 から 0.57 に減少しました。
  • スクリプトのハイライト: packing=True はサンプルを 2048 トークンのシーケンスにマージします。save_only_model=True は LoRA アダプターのみを保存します。

Hugging Face Inference Endpoints でのデプロイ

要点: 単一の CLI コマンドで NVFP4 バリアントを OpenAI 互換エンドポイントにデプロイし、オプションで 1M トークンのコンテキストを有効にできます。

hf endpoints catalog deploy --repo meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --name muse-spark
  • /v1/chat/completions と /v1/responses API の両方をサポートします。
  • 131,072 トークンコンテキスト用の 8 × RTX Pro 6000 (98GB) またはフル 1M トークンウィンドウ用の 8 × H200 (141GB) で動作します。

エージェント型マルチモダリティのデモ

要点: このモデルは、ビジョン、オーディオ、インタラクティブなツール使用を組み合わせたコーディング中心のタスクに優れています。

  • 3D アセットジェネレーター: 量子化モデル (2 ビット) が Pi コーディングエージェントを駆動し、視覚的なフィードバックループを使用して Three.js アセットを生成および反復的に改良します。
  • ブラウザエージェント (OpenEnv + HF Sandbox): Muse Spark Open はスクリーンショットと音声プロンプトを受け取り、アクションを決定し、DOM 情報なしでヘッドレス Chromium ブラウザーと対話します。
  • Call-Your-Browser Space: Amazon での音声駆動の製品検索。マルチモーダル推論、ツール呼び出し、音声入力処理を示しています。

まとめ

Muse Spark Open は、これまでにリリースされた最大のオープンウェイトのマルチモーダル MoE モデルであり、テキスト、画像、音声、ビデオ入力のための統一インターフェース、1M トークンのコンテキストウィンドウ、組み込みのエージェント型推論とツール呼び出し機能を提供します。このモデルは BF16 および NVFP4 チェックポイントで利用でき、さまざまなハードウェア向けの多数の量子化バリアントがあり、エキスパートを凍結したまま LoRA を介してファインチューニングできます。研究者と開発者は、Hugging Face Transformers、llama.cpp、SGLang、vLLM、MLX、またはホスト型 Inference Endpoints を通じてすぐに実験を開始できます。

Sources