sgl-project/SpecForge

Train speculative decoding models effortlessly and port them smoothly to SGLang serving.

무엇을 해결하는가

SpecForge는 speculative decoding 모델을 위한 잘 관리되고 호환 가능한 훈련 프레임워크의 부족 문제를 해결합니다. 이 프레임워크는 이러한 모델들을 표준화된 방식으로 훈련할 수 있게 하여, LLM 추론 속도를 가속화하기 위해 SGLang 서빙 프레임워크로 원활하게 이식될 수 있도록 합니다.

작동 방식

SpecForge는 YAML 파일을 통해 사용자가 다양한 drafting methods와 배포 토폴로지를 구성할 수 있는 통합된 타입 지정 훈련 엔트리 포인트를 사용합니다. 온라인 disaggregated training과 colocated 및 disaggregated offline training을 모두 포함한 여러 훈련 모드를 지원합니다. 이 프레임워크는 훈련 프로세스를 최적화하기 위해 다양한 data, tensor, sequence parallel 토폴로지를 지원합니다.

대상 사용자

LLM의 추론 성능을 향상시키기 위해 speculative decoding draft 모델을 훈련하고자 하는 개발자와 연구자, 특히 SGLang 서빙 프레임워크를 사용하는 사용자를 위해 설계되었습니다.

주요 특징

  • SGLang 호환성: SpecForge로 훈련된 모델은 SGLang에서 작동하기 위해 추가적인 이식 노력이 필요하지 않습니다.
  • 다양한 Drafting Methods: EAGLE3, P-EAGLE, DFlash, DFlash2, Domino, DSpark를 포함한 광범위한 기술을 지원합니다.
  • 유연한 훈련 토폴로지: colocated 또는 disaggregated 설정 옵션을 제공하는 온라인 및 offline 훈련을 지원합니다.
  • SpecBundle: 즉시 사용할 수 있는 프로덕션급의 사전 훈련된 speculative decoding 모델 모음인 SpecBundle을 제공합니다.

관련

  • 프로젝트
    vllm-project/speculators

    vLLM에 직접 통합되어 LLM 추론 지연 시간을 감소시키면서 출력 품질을 유지하는 추측적 디코딩 드래프트 모델을 훈련하기 위한 라이브러리입니다.

  • 프로젝트
    sgl-project/sglang

    단일 GPU부터 대규모 분산 클러스터까지 저지연, 고처리량 추론을 지원하는 LLM 및 멀티모달 모델용 고성능 서빙 프레임워크입니다.

  • 프로젝트
    baidu-baige/LoongForge

    대규모 언어 모델(LLMs), 시각-언어 모델(VLMs), 확산 모델, 그리고 몸을 가진 모델의 학습을 최적화하는 고성능 학습 프레임워크로, 병렬성과 커널 효율성을 통해 학습 비용을 줄입니다.

  • 프로젝트
    THUDM/slime

    Megatron과 SGLang을 통합하여 고성능 학습과 유연한 데이터 생성을 제공하는 RL 스케일링을 위한 LLM 사후 학습 프레임워크입니다.

  • Dispatch
    vLLM Speculators: 추측 디코딩을 위한 병렬 드래프팅

    vLLM과 Speculators 프로젝트는 P-EAGLE, DFlash, DSpark에 대한 오픈소스 지원을 도입하여, 자기회귀 드래프팅을 넘어 병렬로 후보 토큰 블록을 생성함으로써 더 빠른 LLM 추론을 가능하게 합니다.