sgl-project/sglang-omni

它解决了什么问题

SGLang-Omni 为复杂的各种多模态模型提供了一个高性能的服务运行时，特别是针对语音、文本转语音 (TTS) 以及“全能 (omni)”模型（多模态输入，多模态输出）。它解决了多阶段解码的挑战，即单个请求必须经过不同类型的计算模式（如编码器、自回归引擎和声码器），这些模式具有不同的资源需求和调度要求。

工作原理

该系统将模型生成视为一系列协调的阶段（预处理、编码器、自回归引擎、语音合成器、解码器、声码器和聚合器）。它为每个阶段使用专门的调度器，以匹配特定的工作负载。控制平面管理请求，而中继数据平面则在各种后端（共享内存、NCCL、NIXL 和 Mooncake）之间移动张量负载。它与 SGLang 集成以实现高性能自回归调度，并为多模态聊天、语音生成和转录提供兼容 OpenAI 的 API 接口。

适用对象

它专为开发人员和研究人员设计，适用于构建需要低延迟、高吞吐量服务语音转语音或文本转语音模型的应用程序，以及在 NVIDIA CUDA、Apple Silicon 或 Intel GPU 上部署全能模型的人员。

亮点

• 广泛的模型支持：支持多种模型，包括 Qwen3-Omni、MiniMax Music 3 以及各种 TTS 和 ASR（自动语音识别）模型，如 MOSS-TTS 和 Nemotron 3.5 ASR。
• 多阶段运行时：针对生成流水线中的异构计算模式进行了优化。
• 兼容 OpenAI：提供用于语音生成、批量/流式语音和转录的标准端点。
• 跨硬件支持：支持 NVIDIA CUDA、Apple Silicon（通过 MLX/Torch MPS）和 Intel GPU (XPU)。