eagle-hq/EAGLE-4
Official Inference Code of EAGLE-4
EAGLE‑4란?
EAGLE‑4(Extrapolation Algorithm for Greater Language‑model Efficiency)는 대규모 언어 모델의 추론 속도를 높이는 투기적 디코딩 프레임워크입니다. 배치 크기, 하드웨어(NVIDIA 또는 AMD GPU), 워크로드에 따라 투기 트리를 자동으로 조정하는 *단일 "드래프터"*를 제공하며, 대상 모델의 출력 분포를 유지합니다.
핵심 아이디어
- 투기적 디코딩: 가벼운 드래프트 모델이 여러 토큰을 미리 예측하고, 무거운 대상 모델은 이를 검증하기만 하므로 비용이 많이 드는 순방향 패스 수가 줄어듭니다.
- 동적 트리 크기 조정: EAGLE‑4는 런타임에 드래프트 및 검증 비용을 측정하고 현재 배치와 하드웨어에 최적의 투기 단계 수를 선택합니다.
- 플러그인 아키텍처:
eagle‑harness패키지는 지원되는 추론 엔진(SGLang, vLLM, TokenSpeed)의 소스 코드를 패치하지 않고 후크를 등록합니다.
리포지토리 내용
eagle_harness– pip 설치 가능한 Python 패키지로, 하네스 로직과 엔진 플러그인을 구현합니다.- 문서 – 빠른 시작 가이드, 보정 절차, 호환성 표, 상세 아키텍처 노트.
- 릴리스 자산 – 지원되는 엔진용 사전 빌드 휠과 Docker 이미지, 측정된 속도 향상을 포함한 지원 매트릭스.
지원되는 엔진 및 하드웨어
| 엔진 | GPU 제품군 | 제공 방식 |
|---|---|---|
| SGLang | NVIDIA B300 (CUDA 13) 또는 AMD MI355X (ROCm 7.2) | 휠(cu130 / rocm) 및 Docker 이미지 eagle‑4‑sglang:0.1.0 |
| vLLM | NVIDIA B300 (CUDA 13) | 휠(cu130) 및 Docker 이미지 eagle‑4‑vllm:0.1.0 |
| TokenSpeed (실험적) | NVIDIA CUDA 전용 | 휠(cu130) 및 Docker 이미지 eagle‑4‑tokenspeed:0.1.0 |
빠른 설치(CUDA에서 SGLang 예시)
# 리포지토리 복제
git clone https://github.com/eagle-hq/EAGLE-4 && cd EAGLE-4
# 버전 핀 로드
. docs/release.env
# SGLang용 가상 환경 생성
python3.12 -m venv .venv && source .venv/bin/activate
# SGLang 및 종속성 설치
pip install -U pip
pip install --extra-index-url "$EAGLE_CUDA_INDEX" \
--extra-index-url "$EAGLE_TORCH_CUDA_INDEX" \
"sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2'
# 하네스 설치
pip install "eagle-harness==$EAGLE_VERSION"
# 플러그인이 엔진을 볼 수 있는지 확인
eagle-harness-check
동일한 패턴이 vLLM 또는 TokenSpeed에서도 작동하며, 엔진 이름과 Python 버전만 변경하면 됩니다.
서버 실행(SGLang 예시)
python -m sglang.launch_server \
--model-path $MODEL \
--tp-size 4 --dtype bfloat16 \
--attention-backend flashinfer \
... (기타 성능 플래그) ... \
--speculative-algorithm EAGLE_HARNESS \
--speculative-draft-model-path $DRAFT \
--speculative-num-steps 12 \
--speculative-eagle-topk 4 \
--speculative-num-draft-tokens 16 \
--speculative-algorithm-config '{"mode":"serve"}'
그런 다음 간단한 curl 요청으로 생성이 작동하는지 확인합니다.
측정된 성능
이 백서의 지원 매트릭스는 4×NVIDIA B300 GPU에서 기본 디코딩 대비 최대 약 3배의 토큰/초 속도 향상을 보고합니다(예: SGLang: 1479→2820 t/s, vLLM: 242→723 t/s). 속도 향상은 배치 크기와 하드웨어에 따라 다르지만, 투기 경로가 분기되더라도 프레임워크는 항상 올바른 탐욕 출력으로 폴백합니다.
라이선스 및 상업 이용 약관
- 코드는 Eagle 4 Source‑Available License(OSI 승인 아님)에 따라 소스 사용 가능입니다. 비상업적 사용과 최대 2천만 달러 수익까지 제한된 상업적 사용을 허용합니다. 더 큰 상업적 배포에는 별도 라이선스가 필요합니다.
- 리포지토리에는 SGLang, vLLM, FlashInfer 등에 대한 타사 고지도 포함되어 있습니다.
누가 사용할까요?
- ML 엔지니어: 재학습 없이 기존 LLM 배포의 처리량을 높이려는 분.
- 클라우드 또는 온프레미스 추론 서비스: 다양한 배치 크기와 GPU 제품군에서 작동하는 단일 드래프터가 필요한 분.
- 투기적 디코딩 알고리즘을 실험하는 연구팀: 하네스가 보정 도구와 상세 로그를 제공합니다.
요약: EAGLE‑4는 인기 있는 LLM 서빙 스택(SGLang, vLLM, TokenSpeed)에 적응형 투기적 디코딩을 추가하는 플러그인 하네스로, 모델의 출력 분포를 유지하면서 최신 NVIDIA/AMD GPU에서 최대 약 3배 빠른 토큰 생성을 제공합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트