eagle-hq/EAGLE-4
Official Inference Code of EAGLE-4
EAGLE‑4とは?
EAGLE‑4(Extrapolation Algorithm for Greater Language‑model Efficiency)は、大規模言語モデルの推論を高速化する投機的復号フレームワークです。バッチサイズ、ハードウェア(NVIDIAまたはAMD GPU)、ワークロードに応じて投機ツリーを自動的に適応させる*単一の「ドラフター」*を提供し、ターゲットモデルの出力分布を維持します。
核となるアイデア
- 投機的復号: 軽量なドラフトモデルが数トークン先を予測し、高負荷のターゲットモデルはそれらを検証するだけで済むため、高コストなフォワードパスの回数が削減されます。
- 動的なツリーサイズ調整: EAGLE‑4は実行時にドラフトと検証のコストを測定し、現在のバッチとハードウェアに最適な投機ステップ数を選択します。
- プラグインアーキテクチャ:
eagle‑harnessパッケージは、サポートされている推論エンジン(SGLang、vLLM、TokenSpeed)にソースコードを変更することなくフックを登録します。
リポジトリに含まれるもの
eagle_harness– pipでインストール可能なPythonパッケージで、ハーネスロジックとエンジンプラグインを実装しています。- ドキュメント – クイックスタートガイド、キャリブレーション手順、互換性テーブル、詳細なアーキテクチャノート。
- リリースアセット – サポート対象エンジン向けのビルド済みホイールとDockerイメージ、測定されたスピードアップを示すサポートマトリックス。
サポートされているエンジンとハードウェア
| エンジン | GPUファミリ | 提供方法 |
|---|---|---|
| SGLang | NVIDIA B300 (CUDA 13) または AMD MI355X (ROCm 7.2) | ホイール(cu130 / rocm)とDockerイメージeagle‑4‑sglang:0.1.0 |
| vLLM | NVIDIA B300 (CUDA 13) | ホイール(cu130)とDockerイメージeagle‑4‑vllm:0.1.0 |
| TokenSpeed (実験的) | NVIDIA CUDAのみ | ホイール(cu130)とDockerイメージeagle‑4‑tokenspeed:0.1.0 |
クイックインストール(CUDAでのSGLangの例)
# リポジトリをクローン
https://github.com/eagle-hq/EAGLE-4.git cd EAGLE-4
# バージョンピンをロード
. docs/release.env
# SGLang用の仮想環境を作成
python3.12 -m venv .venv && source .venv/bin/activate
# SGLangとその依存関係をインストール
pip install -U pip
pip install --extra-index-url "$EAGLE_CUDA_INDEX" \
--extra-index-url "$EAGLE_TORCH_CUDA_INDEX" \
"sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2'
# ハーネスをインストール
pip install "eagle-harness==$EAGLE_VERSION"
# プラグインがエンジンを認識できるか確認
eagle-harness-check
同じパターンがvLLMやTokenSpeedでも機能し、エンジン名とPythonバージョンを変更するだけです。
サーバーの実行(SGLangの例)
python -m sglang.launch_server \
--model-path $MODEL \
--tp-size 4 --dtype bfloat16 \
--attention-backend flashinfer \
... (その他のパフォーマンスフラグ) ... \
--speculative-algorithm EAGLE_HARNESS \
--speculative-draft-model-path $DRAFT \
--speculative-num-steps 12 \
--speculative-eagle-topk 4 \
--speculative-num-draft-tokens 16 \
--speculative-algorithm-config '{"mode":"serve"}'
次に、簡単なcurlリクエストで生成が機能することを確認します。
測定されたパフォーマンス
このホワイトペーパーのサポートマトリックスでは、4×NVIDIA B300 GPU上でバニラデコーディングと比較して最大約3倍のトークン/秒のスピードアップが報告されています(例:SGLang:1479→2820 t/s、vLLM:242→723 t/s)。スピードアップはバッチサイズとハードウェアによって異なりますが、投機パスが分岐した場合でも、フレームワークは常に正しい貪欲出力にフォールバックします。
ライセンスと商用条件
– コードはEagle 4 Source‑Available License(OSI承認ではありません)の下でソース利用可能です。非商用利用と、収益が2,000万ドルまでの限定的な商用利用を許可します。より大規模な商用展開には別途ライセンスが必要です。 – リポジトリには、SGLang、vLLM、FlashInferなどのサードパーティの通知も含まれています。
誰がこれを使うべきか?
– MLエンジニア: 再トレーニングなしで既存のLLMデプロイメントのスループットを向上させたい方。 – クラウドまたはオンプレミスの推論サービス: さまざまなバッチサイズとGPUファミリに対応する単一のドラフターが必要な方。 – 投機的復号アルゴリズムを試している研究チーム: ハーネスはキャリブレーションツールと詳細なログを提供します。
要約: EAGLE‑4は、人気のあるLLMサービングスタック(SGLang、vLLM、TokenSpeed)に適応型投機的復号を追加するプラグインハーネスであり、モデルの出力分布を維持しながら、最新のNVIDIA/AMD GPUで最大約3倍高速なトークン生成を実現します。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト