sgl-project/sglang-omni

해결하는 문제

SGLang-Omni는 복잡한 멀티모달 모델, 특히 음성, 텍스트 음성 변환(TTS) 및 "옴니" 모델(멀티모달 입력, 멀티모달 출력)에 중점을 둔 고성능 서빙 런타임을 제공합니다. 이 런타임은 단일 요청이 서로 다른 리소스 요구 사항과 스케줄링 요구 사항을 가진 다양한 유형의 컴퓨팅 패턴(인코더, 자기회귀 엔진, 보코더 등)을 거쳐야 하는 다단계 디코딩 문제를 해결합니다.

작동 방식

이 시스템은 모델 생성을 일련의 조정된 단계(전처리, 인코더, 자기회귀 엔진, 토커, 디코더, 보코더 및 집계기)로 처리합니다. 각 단계에 특화된 스케줄러를 사용하여 특정 워크로드에 맞춥니다. 제어 평면은 요청을 관리하고, 릴레이 데이터 평면은 텐서 페이로드를 다양한 백엔드(공유 메모리, NCCL, NIXL, Mooncake) 간에 이동시킵니다. SGLang과 통합되어 고성능 자기회귀 스케줄링을 제공하며, 멀티모달 채팅, 음성 생성 및 전사를 위한 OpenAI 호환 API 인터페이스를 제공합니다.

대상 사용자

음성 대 음성 또는 텍스트 대 음성 모델의 저지연, 고처리량 서빙이 필요한 애플리케이션을 구축하는 개발자와 연구자, 그리고 NVIDIA CUDA, Apple Silicon 또는 Intel GPU에서 옴니 모델을 배포하려는 사용자를 위해 설계되었습니다.

주요 특징

• 광범위한 모델 지원: Qwen3-Omni, MiniMax Music 3를 포함한 다양한 모델과 MOSS-TTS, Nemotron 3.5 ASR과 같은 다양한 TTS 및 ASR(자동 음성 인식) 모델을 서빙합니다.
• 다단계 런타임: 생성 파이프라인 전반에 걸친 이기종 컴퓨팅 패턴에 최적화되어 있습니다.
• OpenAI 호환: 음성 생성, 배치/스트리밍 음성 및 전사를 위한 표준 엔드포인트를 제공합니다.
• 교차 하드웨어 지원: NVIDIA CUDA, Apple Silicon(MLX/Torch MPS 사용) 및 Intel GPU(XPU)를 지원합니다.