Maple-Preview: 高速なオンデバイス推論のためのネイティブ・ターナリ・ウェイトMoE

DeepGroveは、オープンソースの20B-A1Bターナリ・ウェイト（三値重み）推論型大規模言語モデル（LLM）であるMaple-Previewを発表しました。このモデルは、高性能なオンデバイス推論に特化して設計されており、iPhoneで127 tokens/s、Mac mini M4で218 tokens/sの速度を達成し、Gemma 4やQwen3.5といった他の効率的なモデルを大幅に上回っています。

推論効率のためのネイティブ・ターナリ・ウェイト

Maple-Previewは、フル精度モデルから変換されたものではなく、ネイティブにターナリ・ウェイト形式でトレーニングされています。DeepGroveは、学習済みモデルを低ビット幅に変換することは、パフォーマンスと効率の両方を不必要に制限すると主張しています。低精度をトレーニング中の第一級オブジェクトとして扱うことで、モデルは超低ビット幅の数学的な利点を活用できます。

超低ビット幅では、行列演算を足し算に効果的に置き換えることができ、推論に必要な総演算負荷を軽減できます。このアーキテクチャの選択により、Maple-Previewは131,072-tokenのコンテキスト・ウィンドウをサポートしながら、小さなメモリ・フットプリント（5.31 GBのチェックポイント）を維持することができます。

ハードウェアを意識したアーキテクチャ

オンデバイスの速度を最適化するために、Mapleアーキテクチャはハードウェアを意識した設計ループを通じて開発され、構成はMac miniのハードウェア上で直接テストされています。最終的なアーキテクチャは以下の通りです：

レイヤーとエキスパート構成: 推論パフォーマンスと推論効率のバランスをとるために選択された、24レイヤー、256エキスパート構成。
アテンション・メカニズム: KV-cacheの増大を抑えるための、スライディング・ウィンドウとグローバル・アテンションのハイブリッド。
モデル・スケール: 合計20.2Bパラメータ、アクティブ・パラメータは1.49B。

推論パフォーマンスとベンチマーク

Maple-Previewは推論に特化したモデルとして位置付けられており、数学や技術的な領域で強力な能力を示しています。MacBook Pro (M5 Pro) 上で、IMO 2024 Problem 1 (7/7) を 281.5 tokens/s で解くことに成功しました。

ベンチマーク評価において、Maple-Preview（平均スコア: 78.7）とそのFlash版（平均スコア: 77.7）は、より大きなモデルと効果的に競合しています。例えば、LCBv6、AIME 26、HMMT 26、およびGPQA-Dを含む一連のテストにおいて、GPT-OSS 20B（平均: 76.3）やQwen3 30B-A3B（平均: 76.6）を上回っています。

「Dreaming」によるオンデバイス適応

DeepGroveは、コンテキストベースのメモリを超えて、オンデバイスでの重み適応を実験しています。ユーザーの好みをテキストファイルや長いコンテキストに保存する代わりに、モデルは重みを適応させて、ユーザー固有の微妙な詳細を保持することができます。

提供されたデモでは、モデルはユーザーのヴィーガン（完全菜食主義）の食事制限を特定し、「dreaming」セッション（モデルが少量のデータを生成して自身をトレーニングするプロセス）をスケジュールします。このプロセスは、ピークメモリ使用量5.9 GBで10〜20分かかります。この適応の後、モデルは好みを一般化できます（例：本革の代わりに合成皮革のバッグを推奨する）。これは、メモリを有効にしたClaude Sonnet 5が失敗したと報告されているタスクです。

コミュニティの洞察と批判

速度に関する技術的な成果は広く称賛されていますが、Hacker Newsのコミュニティメンバーは、モデルの信頼性に関していくつかの点を指摘しています。

ハルシネーション: ユーザーは、特に科学や技術分野以外のニッチな領域において、モデルが「かなり攻撃的に知識をハルシネーション（幻覚）させる」と報告しています。
知識の欠如: あるユーザーは、特定の単語の語源について尋ねた際、モデルが「自信満々に非常に間違ったことを言う」と指摘しており、20Bパラメータのサイズが一般的な知識ベースを制限している可能性を示唆しています。
ツール・インテグレーション: 一部の開発者は、モデルの速度と限定的な内部知識を考慮すると、モデルの主な価値は、高品質なツール・ルーティングや、より小さなタスク・セットのための高速なバックアップ・モデルとしての役割にあると示唆しています。
実装への懐疑論: 一部のユーザーは、「dreaming」メカニズムに対して懐疑的な見視点を示しており、このサイズのモデルが効果的に自己改善できるのか、あるいはプロセスが特定の事実の更新に限定されているのかを疑問視しています。