A unified library for building, evaluating, and storing speculative decoding algorithms for LLM inference in vLLM

Speculators – 추측 디코딩을 위한 드래프트 모델 훈련 라이브러리

기능 (쉬운 언어로)

Speculators를 사용하면 대규모 언어 모델(LLM)의 다음 몇 개 토큰을 예측할 수 있는 작은 "드래프트" 모델을 훈련할 수 있습니다. 추론 중에 드래프트 모델은 한 번에 여러 토큰을 제안하고, 큰 LLM(검증자)은 단일 패스에서 이를 확인합니다. 드래프트의 추측이 큰 모델이 생성했을 것과 일치하면 수락되어 값비싼 순방향 패스 수를 줄이고 품질 저하 없이 생성을 가속화합니다.

중요한 이유

지연 시간 감소: 전체 모델 패스가 줄어들면 응답이 빨라져 실시간 애플리케이션에 중요합니다.
프로덕션 준비: 라이브러리는 Hugging Face 호환 형식의 모델을 제공하며, 높은 처리량의 추론 서버인 vLLM에 바로 통합할 수 있습니다.
연구 수준의 유연성: 여러 추측 디코딩 알고리즘(DFlash, DSpark, P‑EAGLE, MTP)과 다중 노드 온라인 훈련을 지원하므로 최신 아이디어를 실험하면서도 배포할 수 있습니다.

핵심 구성 요소

구성 요소	역할
훈련 파이프라인	vLLM으로 숨은 상태 데이터를 생성한 다음 드래프트 모델(단일 또는 다중 레이어, MoE, 비전-언어 등)을 훈련합니다.
hs_connectors	여러 노드 간에 vLLM과 트레이너 사이의 숨은 상태를 이동하기 위한 플러그형 백엔드(파일 기반 또는 Mooncake 분산 저장소).
알고리즘 구현	DFlash, DSpark, P‑EAGLE, MTP – 각각 다른 드래프팅 전략(앵커 블록, 마르코프 헤드, 병렬 다중 토큰 예측 등)을 추가합니다.
Speculators 형식	`speculator_config`를 포함하는 Hugging Face 스타일 모델 디렉토리로, vLLM에 드래프트 모델을 검증자와 함께 실행하는 방법을 알려줍니다.
CLI / 유틸리티	버전 확인용 `speculators` 명령, 응답 재생성 스크립트, 벤치마킹을 위한 GuideLLM 통합.

일반적인 워크플로우

데이터 생성 – vLLM을 사용하여 코퍼스에서 큰 검증자 모델을 실행하고 숨은 상태를 디스크에 저장합니다.
드래프트 훈련 – 알고리즘(예: DSpark)을 선택하고 Speculators 훈련 스크립트를 실행합니다. 선택적으로 hs_connectors를 통해 노드 간에 실행할 수 있습니다.
내보내기 – 훈련된 드래프트는 Speculators 형식으로 저장됩니다.
배포 – vllm serve <speculator_model>로 드래프트+검증자 조합을 시작하고 추측 디코딩이 자동으로 활성화됩니다.
벤치마크 – GuideLLM 또는 내장 메트릭을 사용하여 지연 시간과 수락률을 밀집 검증자와 비교합니다.

누가 사용해야 하나요?

LLM 서비스 운영자: 프로덕션 서버에서 추론 지연 시간을 줄여야 하는 분.
연구자: 새로운 추측 디코딩 전략을 탐구하는 분. 라이브러리는 기성 구현과 통합된 훈련 인터페이스를 제공합니다.
개발자: 서비스 스택을 다시 작성하지 않고 더 빠른 생성을 위한 드롭인 업그레이드를 원하는 맞춤형 AI 제품을 구축하는 분.

빠른 시작

pip install speculators          # 라이브러리 설치
speculators --version           # 동작 확인
# 드래프트 훈련 (예시 명령 – 정확한 플래그는 문서 참조)
python -m speculators.train \
    --algorithm dspark \
    --verifier Qwen/Qwen3-8B \
    --output_dir ./my_speculator
# vLLM으로 서빙
vllm serve ./my_speculator

문서 및 커뮤니티

전체 문서: https://docs.vllm.ai/projects/speculators/en/latest/
Slack: vLLM 커뮤니티 Slack (#speculators, #feat-spec-decode)
오피스 아워 비디오 및 슬라이드는 README에 링크되어 있습니다.

Speculators는 최첨단 추측 디코딩 연구와 실제 LLM 서빙 사이의 격차를 메우는 진정한 프로덕션 중심 오픈소스 프로젝트입니다.

vllm-project/speculators