sgl-project/SpecForge

解决的问题

SpecForge 解决了推测解码生态系统中的碎片化和维护挑战。它提供了一个统一的、生产就绪的框架，用于训练与 SGLang 服务引擎原生兼容的推测草稿模型，消除了复杂的移植工作。

工作原理

SpecForge 使用标准化的、配置驱动的方法来训练各种推测解码方法。用户可以通过 YAML 配置文件定义其训练拓扑（例如在线分离式或离线共置式设置）。该框架管理训练器与服务引擎之间的交互，支持高级并行化策略，以确保生成的模型可以立即部署以进行推理加速。

适用人群

该项目专为需要为大语言模型训练和部署高性能推测解码模型的 AI 工程师和研究人员而设计。对于那些已经在使用 SGLang 生态系统，并希望在不管理分散或未维护的训练脚本的情况下提高推理吞吐量的用户来说，它特别有用。

亮点

• 直接与 SGLang 兼容，实现无缝部署。
• 支持多种最先进的方法，包括 EAGLE3、P-EAGLE、DFlash 和 DSpark。
• 支持跨各种并行拓扑的在线和离线训练。
• 包含对 SpecBundle 的访问权限，这是一系列预训练的生产级推测模型。