sgl-project/SpecForge

解決する課題

SpecForgeは、推論デコーディングエコシステムにおける断片化とメンテナンスの課題に対処します。SGLangサービングエンジンとネイティブに互換性のある推論ドラフトモデルをトレーニングするための、統合された本番環境対応フレームワークを提供し、複雑な移植作業を不要にします。

仕組み

SpecForgeは、標準化された設定駆動型のアプローチを使用して、さまざまな推論デコーディング手法をトレーニングします。ユーザーは、YAML設定ファイルを通じて、オンラインの分離型やオフラインの共存型セットアップなどのトレーニングトポロジを定義します。このフレームワークは、トレーナーとサービングエンジン間の相互作用を管理し、高度な並列化戦略をサポートすることで、生成されたモデルを即座に推論加速のためにデプロイできるようにします。

対象ユーザー

このプロジェクトは、大規模言語モデル向けに高性能な推論デコーディングモデルをトレーニングおよびデプロイする必要があるAIエンジニアや研究者向けに設計されています。特に、すでにSGLangエコシステムを利用しており、断片化されたメンテナンスされていないトレーニングスクリプトを管理することなく推論スループットを向上させたいと考えている方に最適です。

ハイライト

• SGLangと直接互換性があり、シームレスなデプロイが可能。
• EAGLE3、P-EAGLE、DFlash、DSparkを含む複数の最先端手法をサポート。
• さまざまな並列トポロジ全体でのオンラインおよびオフラインのトレーニングを可能にします。
• 事前トレーニング済みの本番グレードの推論モデルコレクションであるSpecBundleへのアクセスが含まれています。