vllm-project/vllm-omni

vLLM‑Omni – 옴니 모달리티 모델을 위한 통합 서빙

개요 – vLLM‑Omni는 인기 있는 vLLM 추론 엔진의 오픈 소스 확장입니다. 텍스트, 이미지, 오디오, 비디오, 심지어 액션/로봇 정책 출력까지 모든 모달리티의 모델을 서빙할 수 있는 통합 런타임을 추가합니다. 이 프로젝트에는 프로덕션 준비 서버, 인기 모델용 "레시피", 스트리밍 입력(예: 마이크 오디오)을 받아들이면서 스트리밍 출력을 반환하는 전이중 실시간 API가 포함되어 있습니다.

중요성 – 기존 LLM 서빙 프레임워크는 자기회귀 텍스트 생성만 처리합니다. 현대 기반 모델은 점점 더 멀티모달화되고 있습니다(예: Qwen‑3‑Omni, MiniCPM‑o, 확산 트랜스포머). vLLM‑Omni는 다음 방법으로 그 격차를 해소합니다:

• vLLM의 고처리량 KV 캐시 및 스케줄러 로직을 재사용.
• 이기종 모델 구성 요소 간에 데이터를 라우팅할 수 있는 OmniConnector 단계 추가(예: 텍스트 인코더 → 확산 디코더 → 액션 정책).
• 자기회귀 및 비자기회귀 아키텍처(확산 트랜스포머, 병렬 생성 모델) 지원.
• 하드웨어에 구애받지 않는 실행: CUDA, ROCm, XPU, NPU 및 멀티노드 분산 병렬 처리.

주요 기능(README에 설명됨)

기능	세부 사항
옴니 모달리티 지원	단일 서버에서 텍스트, 이미지, 오디오, 비디오, 액션 생성.
모델 카탈로그	많은 Hugging‑Face 모델에서 즉시 작동: Qwen3‑Omni, MiniCPM‑o 4.5, Cosmos3, BAGEL, TTS 모델(Qwen3‑TTS, Breeze‑TTS‑2), 확산 모델(MiniMax H3, LingBot World), 로봇 정책 모델(π0, DreamZero‑DROID).
전이중 실시간 API	오디오 스트리밍 입력 및 출력을 지원하여 대화형 음성 어시스턴트 또는 로봇 제어를 가능하게 합니다.
동적 리소스 할당	단계가 분리되어 있으며 런타임은 GPU, NPU 또는 CPU 간에 작업을 즉시 이동할 수 있습니다.
병렬 처리	대규모 모델을 위한 텐서, 파이프라인, 데이터, 전문가 병렬 처리.
OpenAI 호환 서버	OpenAI의 채팅/완료 엔드포인트를 대체하는 드롭인.
확장 가능한 레시피	수십 개의 모델에 대한 양자화, 캐싱, 하드웨어별 조정을 다루는 즉시 사용 가능한 배포 스크립트("레시피").
스테이지 간 KV 및 멀티모달 페이로드 전송	스테이지 간 효율적인 핸드오프(예: 이미지 생성을 위한 AR-to-DiT 핸드오프).

일반적인 사용 사례

• 이미지를 보고, 음성을 듣고, 텍스트, 오디오 또는 생성된 이미지/비디오로 응답할 수 있는 멀티모달 AI 어시스턴트 구축.
• 요청 수준 배치로 프로덕션 규모에서 실시간 확산 생성(이미지/비디오/오디오) 배포.
• 센서 스트림을 수신하고 액션 명령을 출력하는 모델에서 로봇 정책 추론 실행.
• 파운데이션 모델 제품군에 단일 API 엔드포인트를 제공하여 클라이언트 통합을 단순화.

시작하기

1. 설치 – 문서를 따르십시오(pip install 또는 Docker). 야간 CUDA 이미지는 Docker Hub(vllm/vllm-omni)에서 사용할 수 있습니다.
2. 서버 실행 – vllm-omni serve --model Qwen3-Omni --api-key <key>로 OpenAI 호환 엔드포인트가 시작됩니다.
3. 레시피 시도 – recipes/ 폴더에는 즉시 실행 가능한 구성이 포함되어 있습니다. 예: recipes/OpenBMB/MiniCPM-o-4_5.md는 MiniCPM‑o 모델용입니다.
4. 문서 탐색 – 설치, 빠른 시작, 실시간 이중 API에 대한 전체 가이드는 https://vllm-omni.readthedocs.io에 있습니다.

커뮤니티 및 지원

• 문서 – https://vllm-omni.readthedocs.io
• 사용자 포럼 – https://discuss.vllm.ai
• Slack – https://slack.vllm.ai(채널 #sig-omni)
• WeChat – 리포지토리 자산에 QR 코드가 있습니다.
• DeepWiki – 큐레이션된 심층 기사.
• 인용 – 연구에서 라이브러리를 사용하는 경우 README에 나열된 두 개의 arXiv 보고서를 인용하십시오.

라이선스 – Apache License 2.0.

---

요약하면, vLLM‑Omni는 빠르고 확장 가능한 텍스트 전용 vLLM 엔진을 범용 멀티모달 서빙 플랫폼으로 전환하여 개발자와 연구자가 텍스트, 비전, 오디오, 비디오 및 로봇 액션을 위한 최첨단 기반 모델을 단일 고성능 런타임으로 배포할 수 있게 합니다.