sgl-project/sglang-jax

解决的问题

SGL-JAX 解决了在 Google TPU 上以高吞吐量和低延迟部署大语言模型 (LLM) 的挑战。它提供了一个专门的推理引擎，可为高要求的生产工作负载实现硬件利用率最大化。

工作原理

该引擎采用分布式架构，由兼容 OpenAI 的 HTTP 服务器、用于连续批处理 (continuous batching) 的调度器以及使用 JAX 执行模型的 Tensor Parallel Workers 组成。它通过以下关键机制优化性能：

• Radix Tree KV Cache: 高效管理内存，允许具有公共前缀的请求共享缓存数据，从而减少冗余计算。
• Continuous Batching: 动态对传入的请求进行分组，以保持 TPU 的充分利用。
• FlashAttention: 集成高性能内核，加速长序列的注意力计算。
• Tensor Parallelism: 将大型模型拆分到多个 TPU 设备上，以处理超过单个芯片内存容量的模型。

适用对象

专为在 Google TPU 硬件上部署大规模 LLM 或多模态模型（如文本转视频或视觉语言模型）的开发人员和组织设计。

亮点

• 兼容 OpenAI API: 可作为现有基于 OpenAI 的工具和 SDK 的即插即用替代方案。
• 广泛的模型支持: 针对 Qwen（包括 MoE 变体）、Llama、Gemma 2、DeepSeek 等进行了优化。
• 多模态能力: 支持文本转视频 (Wan 2.1/2.2) 和视觉语言 (Qwen2.5-VL) 模型。
• 基于 JAX: 从底层构建，专为 TPU 上的高性能执行而设计。