sgl-project/sglang

解决的问题

SGLang 提供了一个高性能推理框架，旨在加速大型语言模型 (LLMs)、视觉语言模型和扩散模型的服务。它特别针对代理工作负载、大规模服务和强化学习 (RL) 部署中的瓶颈，在这些场景中，效率和吞吐量至关重要。

运作方式

SGLang 作为一个优化的推理引擎运作，支持多种硬件平台，包括 NVIDIA、AMD、Google TPU、Intel、Apple Silicon 和 Huawei Ascend。它包含一个内置的图像和视频生成引擎 (SGLang Diffusion)，并与各种用于 RL 部署的训练框架以及用于扩展和路由的编排工具集成。

适用对象

此框架旨在为需要高吞吐量和广泛硬件兼容性的 AI 研究人员、开发人员和部署生产级 LLMs 及多模态模型的企业提供服务。

特色亮点

• 广泛的硬件支持，涵盖来自多家供应商的 GPUs、TPUs、NPUs 和 CPUs。
• 针对代理工作负载和 RL 部署进行了优化。
• 通过 SGLang Diffusion 内置对图像和视频生成的支持。
• 与更广泛的 SGL 生态系统集成，包括推测解码 (SpecForge) 和音频服务 (SGLang Omni)。