sgl-project/SpecForge
Train speculative decoding models effortlessly and port them smoothly to SGLang serving.
무엇을 해결하는가
SpecForge는 잘 유지 관리되고 SGLang과 호환되는 추측 디코딩 모델 훈련 프레임워크가 부족한 문제를 해결하기 위해 설계되었습니다. SGLang 서빙 프레임워크로 원활하게 이동할 수 있는 드래프트 모델을 훈련할 수 있는 통합형, 즉시 실행 가능한 오프더쉘프 생태계를 제공하여 LLM 추론 속도를 가속화합니다.
어떻게 작동하는가
SpecForge는 단일 타입이 지정된 훈련 진입점 (specforge train)과 구성 파일을 사용하여 다양한 훈련 토폴로지를 관리합니다. 특성 기반 자기회귀 드래프팅(EAGLE3, EAGLE3.1, P-EAGLE)과 블록 병렬 드래프팅(DFlash, Domino, DSpark)을 포함한 다양한 드래프팅 방법을 지원합니다. 프레임워크는 로컬 오프라인 훈련, 서버 전용 온라인 분리 훈련, 그리고 데이터, 텐서 및 시퀀스 병렬과 같은 다양한 병렬 토폴로지를 지원합니다.
누가 사용해야 하는가
SGLang을 사용하여 고성능 추론을 위해 자신의 추측 디코딩 드래프트 모델을 훈련하고 배포하려는 개발자와 연구자.
주요 기능
- SGLang 호환성: SGLang과 직접 호환되어 이동에 추가 작업이 필요 없습니다.
- 통합 훈련 진입점: 모든 방법이 훈련에 동일한 명령줄 인터페이스를 사용합니다.
- 다양한 드래프팅 방법: EAGLE3 및 DFlash와 같은 최신 드래프팅 기술을 폭넓게 지원합니다.
- 유연한 훈련 토폴로지: 오프라인, 온라인 및 분리된 훈련 워크플로를 지원합니다.
- SpecBundle: 즉시 사용할 수 있는 높은 수용률을 가진 프로덕션 등급 드래프트 모델 컬렉션을 제공합니다.