EAGLE 3.1 릴리즈 노트: 추측 디코딩 견고성 및 효율성 향상

EAGLE 3.1은 견고성, 효율성 및 배포 가능성을 향상시키도록 설계된 추측 디코딩 프레임워크의 주요 업데이트입니다. "attention drift"를 해결함으로써, 이 업데이트는 EAGLE 3에 비해 장기 컨텍스트 작업에서 허용 길이를 최대 2배까지 늘릴 수 있습니다.

아키텍처 개선을 통한 어텐션 드리프트 해결

EAGLE 3.1은 추측 깊이가 증가함에 따라 드래프터가 싱크 토큰에서 자체 생성 토큰으로 주의를 이동시키는 "attention drift"라는 성능 저하 현상을 해결합니다. 이 불안정성은 두 가지 주요 요인에 의해 발생합니다: 고층 은닉 상태가 우세한 불균형 융합 입력 표현, 그리고 정규화되지 않은 잔차 경로로 인해 은닉 상태 크기가 증가하는 현상.

이러한 문제를 완화하기 위해, EAGLE 3.1은 두 가지 핵심 아키텍처 변경을 구현합니다:

• FC Normalization: 각 목표 은닉 상태 뒤와 FC 레이어 앞에 Fully Connected (FC) 정규화를 추가합니다.
• Post-Norm Hidden-State Feedback: 정규화 후 은닉 상태를 다음 디코딩 단계에 전달합니다.

이러한 수정은 드래프터의 동작을 목표 모델에 단순히 레이어를 추가하는 것이 아니라 디코딩 단계 전반에 걸친 재귀 호출에 더 가깝게 전환합니다. 그 결과 채팅 템플릿 및 시스템 프롬프트 변형에 대한 회복력이 높아지고, 장기 컨텍스트 견고성이 강화되며, 학습 시점에서 추론 시점으로의 외삽이 개선됩니다.

TorchSpec 및 vLLM을 통한 학습 및 배포

EAGLE 3.1은 TorchSpec 및 vLLM과의 협업을 통해 AI 생태계에 통합되어 연구에서 프로덕션으로의 경로를 간소화합니다.

TorchSpec 학습 지원

TorchSpec은 이제 EAGLE 3.1에 대한 효율적인 학습 지원을 제공하여 학습 오버헤드를 감소시키고 실험 워크플로우를 단순화합니다. 이 파이프라인의 시연으로, Kimi K2.6용 EAGLE 3.1 초안 모델이 오픈소스로 공개되었습니다.

vLLM 통합

EAGLE 3.1은 vLLM에 기존 EAGLE 3 구현을 기반으로 구성 기반 확장으로 구현되었습니다. 이 통합에는 FC 정규화, post-norm hidden-state feedback 지원 및 목표 은닉 상태에 대한 하드코딩된 가정의 제거가 포함됩니다.

EAGLE 3 체크포인트와의 하위 호환성은 완전히 유지되어 초안 모델을 기존 추측 디코딩 코드 경로에 연결할 수 있습니다. 이 지원은 vLLM 메인 브랜치, 나이틀리 릴리즈 및 곧 출시될 v0.22.0 릴리즈에서 제공됩니다.

성능 벤치마크

SPEED-Bench 코딩 데이터셋에서 Kimi K2.6 EAGLE 3.1 초안 모델을 사용하여 수행한 벤치마크(Kimi-K2.6-NVFP4에서 vLLM으로 실행, TP=4, GB200, 비분산) 결과, 상당한 처리량 향상이 나타났습니다:

• Concurrency 1: 비추측 기준 대비 사용자당 출력 처리량이 2.03배 증가했습니다.
• Concurrency 4: 처리량이 1.71배 증가했습니다.
• Concurrency 16: 처리량이 1.66배 증가했습니다.

생태계 협업

EAGLE 3.1의 개발은 EAGLE 팀(알고리즘 연구), vLLM 팀(프로덕션 추론 최적화), TorchSpec 팀(학습 인프라)의 공동 노력이며, GPU 지원은 NVIDIA가 제공합니다.