EAGLE 3.1 リリースノート: 推測デコードの堅牢性と効率性の向上

EAGLE 3.1 は、堅牢性、効率性、デプロイ可能性を向上させることを目的とした推測デコードフレームワークの大規模アップデートです。"attention drift" と呼ばれる問題に対処することで、EAGLE 3 と比較して長文コンテキストワークロードにおける受容長さを最大 2 倍に伸ばすことができます。

アーキテクチャ改善によるアテンションドリフトの解決

EAGLE 3.1 は、推測深度が増すにつれてドラフターがシンクトークンから離れ、自己生成トークンへ注意をシフトさせるパフォーマンス低下現象である "attention drift" に対処します。この不安定性は、上位層の隠れ状態が支配的になる不均衡な融合入力表現と、正規化されていない残差パスから生じる隠れ状態の大きさの増大という 2 つの主因によって引き起こされます。

これらの問題を緩和するために、EAGLE 3.1 は以下の 2 つの重要なアーキテクチャ変更を実装しています:

• FC Normalization: 各ターゲット隠れ状態の後、FC 層の前に Fully Connected (FC) 正規化を追加します。
• Post-Norm Hidden-State Feedback: 正規化後の隠れ状態を次のデコードステップにフィードバックします。

これらの変更により、ドラフターの振る舞いは単純に層を追加するのではなく、デコードステップ間で再帰的に呼び出される形に近づきます。その結果、チャットテンプレートやシステムプロンプトのバリエーションに対する耐性が向上し、長文コンテキストでの堅牢性が強化され、学習時から推論時への外挿性能も改善されます。

TorchSpec と vLLM を通じたトレーニングとデプロイ

EAGLE 3.1 は、TorchSpec と vLLM との協業により、研究から本番への道筋をスムーズにするため AI エコシステムに統合されています。

TorchSpec トレーニングサポート

TorchSpec は現在、EAGLE 3.1 向けの効率的なトレーニングサポートを提供し、トレーニングオーバーヘッドを削減し、実験ワークフローを簡素化します。このパイプラインのデモとして、Kimi K2.6 用の EAGLE 3.1 ドラフトモデルがオープンソース化されています。

vLLM 統合

EAGLE 3.1 は、vLLM における既存の EAGLE 3 実装を設定駆動型拡張として実装されています。統合には FC 正規化、ポスト正規化隠れ状態フィードバックのサポート、およびターゲット隠れ状態に関するハードコーディングされた前提条件の除去が含まれます。

EAGLE 3 のチェックポイントとの下位互換性は完全に保持されており、ドラフトモデルを既存の推測デコードコードパスにそのまま組み込むことができます。このサポートは vLLM のメインブランチ、ナイトリービルド、そして今後の v0.22.0 リリースで利用可能です。

パフォーマンスベンチマーク

Kimi K2.6 の EAGLE 3.1 ドラフトモデル（Kimi-K2.6-NVFP4 上で vLLM、TP=4、GB200、非分散実行）を使用し、SPEED-Bench コーディングデータセットで実施したベンチマークでは、スループットが大幅に向上しました:

• Concurrency 1: 非推測ベースラインに比べて 2.03 倍のユーザーあたり出力スループット向上。
• Concurrency 4: 1.71 倍のスループット向上。
• Concurrency 16: 1.66 倍のスループット向上。

エコシステム協力

EAGLE 3.1 の開発は、EAGLE チーム（アルゴリズム研究）、vLLM チーム（本番推論最適化）、TorchSpec チーム（トレーニング基盤）の共同作業であり、GPU サポートは NVIDIA が提供しています。