sgl-project/SpecForge

해결하는 문제

SpecForge는 추론 디코딩 생태계의 파편화 및 유지 관리 문제를 해결합니다. SGLang 서빙 엔진과 기본적으로 호환되는 추론 초안 모델을 학습하기 위한 통합된 프로덕션 준비 프레임워크를 제공하여 복잡한 포팅 작업의 필요성을 제거합니다.

작동 방식

SpecForge는 표준화된 구성 기반 접근 방식을 사용하여 다양한 추론 디코딩 방법을 학습합니다. 사용자는 YAML 구성 파일을 통해 온라인 분리형 또는 오프라인 공존형 설정과 같은 학습 토폴로지를 정의합니다. 이 프레임워크는 트레이너와 서빙 엔진 간의 상호 작용을 관리하고 고급 병렬화 전략을 지원하여 결과 모델을 즉시 추론 가속에 배포할 수 있도록 합니다.

대상 사용자

이 프로젝트는 대규모 언어 모델을 위한 고성능 추론 디코딩 모델을 학습하고 배포해야 하는 AI 엔지니어 및 연구자를 위해 설계되었습니다. 특히 이미 SGLang 생태계를 사용 중이며, 파편화되거나 유지 관리되지 않는 학습 스크립트를 관리하지 않고도 추론 처리량을 향상시키려는 사용자에게 유용합니다.

주요 특징

• SGLang과 직접 호환되어 원활한 배포 가능.
• EAGLE3, P-EAGLE, DFlash, DSpark를 포함한 여러 최신 방법 지원.
• 다양한 병렬 토폴로지 전반에서 온라인 및 오프라인 학습 모두 지원.
• 사전 학습된 프로덕션급 추론 모델 모음인 SpecBundle에 대한 액세스 포함.