sgl-project/sglang

解決する課題

SGLang は、大規模言語モデル (LLMs)、ビジョン言語モデル、および拡散モデルのサービングを高速化するために設計された高性能な推論フレームワークを提供します。特に、効率性とスループットが極めて重要となるエージェントワークロード、大規模サービング、および強化学習 (RL) のロールアウトにおけるボトルネックに対処します。

仕組み

SGLang は、NVIDIA、AMD、Google TPU、Intel、Apple Silicon、Huawei Ascend を含む幅広いハードウェアプラットフォームをサポートする最適化された推論エンジンとして動作します。内蔵の画像・動画生成エンジン (SGLang Diffusion) を備えており、RL ロールアウト用のさまざまなトレーニングフレームワークや、スケーリングおよびルーティング用のオーケストレーションツールと統合されています。

対象ユーザー

このフレームワークは、高いスループットと幅広いハードウェア互換性を必要とする、本番環境レベルの LLM やマルチモーダルモデルをデプロイする AI 研究者、開発者、および企業を対象としています。

ハイライト

• 複数のベンダーによる GPU、TPU、NPU、CPU にわたる広範なハードウェアサポート。
• エージェントワークロードおよび RL ロールアウト向けに最適化。
• SGLang Diffusion による画像および動画生成の組み込みサポート。
• 推測デコード (SpecForge) やオーディオサービング (SGLang Omni) を含む、より広範な SGL エコシステムとの統合。