Mixture-of-Expertsモデルのための高次エキスパートプルーニング (HOPE)

MoEのメモリボトルネックを理解する

Qwen3.5-122BのようなMixture-of-Experts (MoE) モデルは、トークンごとに活性化されるのはごく一部であるにもかかわらず、多くの場合、数百ものエキスパートをメモリ上に保持しています。多くのアーキテクチャにおいて、エキスパートMLPは全パラメータのメモリフットプリントの最大95%を占めています。エキスパートプルーニングは、再学習や動的なオフロードを必要とせずにこのフットプリントを削減する効果的な戦略ですが、既存の一次手法はエキスパートを独立したエンティティとして扱うため、パフォーマンスを低下させることがよくあります。これらの手法は、エキスパートがしばしば安定した協力グループを形成しており、モデルの能力を維持するためにはそれらをまとめて保持する必要があるという事実を考慮できていません。

HOPEアプローチ：エキスパート間の相互作用を考慮する

HOPE (Higher-Order Pruning of Experts) は、エキスパート間のペアの相互作用をモデル化することで、一次プルーニングを改善します。HOPEは、各エキスパートに単一のスカラー重要度スコアを割り当てるのではなく、エキスパートペアの共活性化パターンと共同寄与を捉える相互作用行列 $F$ を構築します。

プルーニング誤差を上回る代理目的関数を最小化することで、HOPEは二次計画法 (QP) を解き、削除すべきエキスパートの最適なセットを特定します。$F$ 行列の対角成分は個別の重要度を捉え（REAPのような既存の手法と同様）、非対角成分は協力関係の強さを定量化します。これにより、アルゴリズムは、個別にスコアが高いエキスパートであっても、その削除が重要な協力クラスターに不釣り合いな損害を与える場合には、それを犠牲にすることができます。

パフォーマンスとベンチマーク

HOPEは、さまざまなモデルやキャリブレーションデータセットにおいて、REAP、MAN、EANを含む一次ベースラインと比較して優れたパフォーマンスを示します。主な調査結果は以下の通りです。

大規模な効率性: HOPEの利点は、協力構造の維持が不可欠となる高いプルーニング率（40%〜50%）でより顕著になります。
エージェントタスクにおける優位性: 複雑なマルチターン推論とツール使用を必要とするSWE-Bench Proベンチマークにおいて、HOPEでプルーニングされたモデルは、一次手法でプルーニングされたモデルを大幅に上回ります。例えば、HOPEを使用して50%プルーニングされたQwen3.5-35Bモデルは42.3のスコアを達成し、プルーニングされていないモデルのパフォーマンスと実質的に同等でした。
無視できるオーバーヘッド: この手法は、データに対する単一のキャリブレーションパスと、それに続く層あたり1〜2秒で完了する標準的なQPソルバーの実行のみを必要とするため、デプロイメントにおいて非常に実用的です。

実装とワークフロー

HOPEパイプラインは、公式の HOPE GitHub repository でサポートされている3つの明確なステップで構成されています。

キャリブレーション: キャリブレーションデータに対するフォワードパスで、エキスパートの選択、ゲートの重み、出力ノルムを記録し、$F$ 行列を生成します。
ソルビング: システムはバイナリ二次計画問題を解き、どのエキスパートを削除するかを定義する pruneset.json ファイルを作成します。
プルーニング: 生成されたセットに基づいてモデルがプルーニングされ、メモリおよびディスク上でより小さい標準的なHugging Faceチェックポイントが生成されます。

制限事項と今後の展望

HOPEは40〜50%のプルーニングにおいて非常に効果的ですが、低いプルーニング率（10〜20%）ではパフォーマンスの向上は控えめです。さらに、現在の実装では層を独立してプルーニングしており、層間の相互作用の可能性を無視しています。層間プルーニングの理論的フレームワークは存在しますが、まだ予備段階にあります。今後の研究では、プルーニングプロセスをさらに洗練させるために高次の相互作用（トリプレット以上）を組み込むことが検討される可能性がありますが、これらには重大な組み合わせ上の課題が伴います。