vllm-project/vllm-omni

vLLM‑Omni – 全模态模型的统一服务

简介 – vLLM‑Omni 是流行的 vLLM 推理引擎的开源扩展。它添加了一个 统一运行时，可以服务任意到任意的多模态模型：文本、图像、音频、视频，甚至动作/机器人策略输出。该项目附带一个生产级服务器、一组流行模型的“配方”，以及一个全双工实时 API，可以接受流式输入（例如麦克风音频）并同时流式返回输出。

重要性 – 传统的 LLM 服务框架只处理自回归文本生成。现代基础模型越来越趋向多模态（例如 Qwen‑3‑Omni、MiniCPM‑o、扩散变换器）。vLLM‑Omni 通过以下方式弥合了这一差距：

• 重用 vLLM 的高吞吐量 KV 缓存和调度器逻辑。
• 添加 OmniConnector 阶段，可以在异构模型组件之间路由数据（例如文本编码器 → 扩散解码器 → 动作策略）。
• 同时支持 自回归 和 非自回归 架构（扩散变换器、并行生成模型）。
• 提供 硬件无关 的执行：CUDA、ROCm、XPU、NPU 和多节点分布式并行。

关键能力（如 README 所述）

能力	详情
全模态支持	在单个服务器中生成文本、图像、音频、视频和动作。
模型目录	与许多 Hugging‑Face 模型开箱即用：Qwen3‑Omni、MiniCPM‑o 4.5、Cosmos3、BAGEL、TTS 模型（Qwen3‑TTS、Breeze‑TTS‑2）、扩散模型（MiniMax H3、LingBot World）、机器人策略模型（π0、DreamZero‑DROID）。
全双工实时 API	流式音频输入和输出，支持交互式语音助手或机器人控制。
动态资源分配	阶段是分离的；运行时可以动态地在 GPU、NPU 或 CPU 之间移动工作负载。
并行性	支持大型模型的张量、流水线、数据和专家并行。
OpenAI 兼容服务器	可无缝替代 OpenAI 的聊天/补全端点。
可扩展配方	用于数十种模型的现成部署脚本（“配方”），涵盖量化、缓存和硬件特定调整。
跨阶段 KV 和多模态负载传输	阶段间的高效交接（例如图像生成的 AR 到 DiT 交接）。

典型用例

• 构建一个 多模态 AI 助手，可以查看图像、聆听语音，并以文本、音频或生成的图像/视频进行响应。
• 在生产规模上部署 实时扩散生成（图像/视频/音频），支持请求级批处理。
• 运行 机器人策略推理，其中模型接收传感器流并输出动作命令。
• 为一系列基础模型提供 单一 API 端点，简化客户端集成。

快速开始

1. 安装 – 按照文档操作（pip install 或 Docker）。Docker Hub 上提供每夜构建 CUDA 镜像（vllm/vllm-omni）。
2. 运行服务器 – vllm-omni serve --model Qwen3-Omni --api-key <key> 启动一个 OpenAI 兼容端点。
3. 尝试配方 – recipes/ 文件夹包含即用配置，例如 recipes/OpenBMB/MiniCPM-o-4_5.md 用于 MiniCPM‑o 模型。
4. 探索文档 – 安装、快速入门和实时双工 API 的完整指南在 https://vllm-omni.readthedocs.io。

社区与支持

• 文档 – https://vllm-omni.readthedocs.io
• 用户论坛 – https://discuss.vllm.ai
• Slack – https://slack.vllm.ai（频道 #sig-omni）
• 微信 – 仓库资产中有二维码。
• DeepWiki – 精选的深度文章。
• 引用 – 如果在研究中使用该库，请引用 README 中列出的两篇 arXiv 报告。

许可证 – Apache License 2.0。

---

简而言之，vLLM‑Omni 将快速、可扩展的纯文本 vLLM 引擎转变为一个通用的多模态服务平台，让开发者和研究人员能够使用单一高性能运行时部署文本、视觉、音频、视频和机器人动作的最前沿基础模型。