ZAYA1-8B: 760M アクティブパラメータで DeepSeek-R1 の数学性能を実現

Large Language Model（LLM）の効率性の追求は、長らくパラメータ数と実際の性能の間での綱引きでした。業界は巨大モデルへと傾いてきましたが、最近では高効率で小フットプリントのモデルへのシフトが見られます。ZAYA1-8B はこの方向性における重要なマイルストーンであり、760 万のアクティブパラメータだけで DeepSeek-R1 と同等の数学タスク性能を実現すると主張しています。

このモデルは「大きいほど良い」というマントラが、Mixture-of-Experts（MoE）と新しい推論トレース管理というアーキテクチャ的イノベーションによって挑戦されていることを示しています。

アーキテクチャ: MoE と Markovian RSA

本質的に、ZAYA1-8B は 8B パラメータの Mixture-of-Experts モデルです。ここで重要なのは アクティブ パラメータの数、すなわち単一のフォワードパスで実際に使用されるモデルのサブセットです。アクティブパラメータを 760M に抑えることで、計算効率が向上し、一般的なハードウェアやローカル環境での展開が現実的になります。

ZAYA1-8B の最も興味深い技術的側面の一つは Markovian RSA の実装です。このアプローチは二つの異なる手法の合成です:

  1. Reasoning-Step Analysis (RSA): 与えられたプロンプトに対して一連の推論トレースを生成し、解答への論理的経路をマッピングします。
  2. The Markovian Thinker: このメカニズムは推論トレースの長さを管理し、コンテキストウィンドウを扱いやすく保ちます。具体的には、トレースの末尾から可変量 ($\tau$) のトークンを削除して調整します。

Supervised Fine-Tuning（SFT）フェーズでは、モデルは最も重要な情報をトレースの末尾に集中させるように学習し、トリミングプロセスで重要な論理的飛躍が失われないようにします。しかし、このアーキテクチャ選択は観測者の間で技術的議論を呼び起こしており、単に末尾のトークンを削除するだけが洞察を保持する最も効率的な方法か、あるいはトレースの早い段階で有用な情報が失われているのではないかという疑問が呈されています。

実世界での性能と有用性

ベンチマークは数学において DeepSeek-R1 と同等の性能を示唆していますが、ユーザー体験はコーディングやエージェントタスクにおける能力をより微妙に評価しています。

コーディング能力

初期テスターは、モデルがコーディングにおいて「やや競争力がある」ことを報告しています。実際のテスト（例: ブラウザコンソールで実行できる機能的タイマーの JavaScript を生成）では、モデルは動作するコードを生成しましたが、望ましい結果に到達するために追加入力で修正を促す必要がありました。これは、モデルがサイズに対して高い能力を持つものの、Claude や GPT-4 のような最先端モデルの複雑なソフトウェアエンジニアリングタスクに対する「すぐに置き換えられる」レベルにはまだ達していないことを示唆しています。

エージェントギャップ

モデルの数学的推論とエージェント性能の間には明確な差が指摘されています。一部の批評家は、数学とコーディングは印象的であるものの、エージェント機能—特にツール呼び出しを利用してコンテキストを取得し解決策を実行する能力—が十分に発達していないと主張しています。これは、プロプライエタリなコーディングアシスタントの代替となるためにモデルが克服すべき重要なハードルです。

ローカル LLM に対する広範な影響

ZAYA1-8B のリリースは、AI の民主化に向けた大きな潮流を示しています。インターネット接続なしでデスクトップ上で 760M のアクティブパラメータを持つモデルが、複雑な数学やコーディングタスクを処理できるという可能性は、プライバシー志向の開発者や研究者にとって魅力的です。

コミュニティが観測するように、10T パラメータモデルを駆動したスケーリング法則は持続可能でない可能性があります。焦点は、どれだけ情報を圧縮できるか、そして検索ベースの推論を小型モデルでどれだけ効果的に実装できるかへとシフトしています。Zyphra のようなラボの台頭や AMD といったハードウェアプロバイダーの関与は、SOTA（State-of-the-Art）性能を一般的なハードウェア上で利用可能にするエコシステムの拡大を示しています。

"小型モデルが LLM の未来だと思う… 2 年後には、インターネットに接続せず、一般的なハードウェアのデスクトップで、いくつかのタスクのサブセットをカバーするモデルだけで何ができるかに本当に驚くかもしれない。"

総パラメータ数とアクティブパラメータ数のバランスを最適化することで、ZAYA1-8B は高い推論能力が高価な API 呼び出しの背後に隠されることなく、効率的でローカルファーストなアーキテクチャに分散される未来への道を切り開きます。

Sources