micytao/vllm-playground

解决的问题

它提供了一个现代化、用户友好的网页界面，用于管理和与 vLLM 服务器交互，无需手动配置复杂的 CLI 命令来进行 LLM 服务。它简化了在各种硬件 (GPU, CPU, Apple Silicon) 和环境 (本地, 容器, Kubernetes) 中部署和测试开源模型的过程。

运作方式

该项目作为一个管理层 (使用 FastAPI 和 JavaScript 构建)，位于用户的浏览器和 vLLM 后端之间。它可以将 vLLM 作为子进程启动、通过容器进行管理，或连接到远程服务器。它与 Model Context Protocol (MCP) 集成，允许模型使用外部工具，并提供专门的终端界面，将 vLLM 作为 Claude Code 的后端使用。

目标用户

专为 AI 开发人员和研究人员设计，他们希望有一种可视化的方式来部署、基准测试和与 vLLM 服务的模型进行对话，而无需每次都深入研究基础设施配置。

特色亮点

• 多实例管理：使用分页界面运行并切换多个 vLLM 后端 (子进程、容器或远程)。
• 多模态支持：与 vLLM-Omni 集成以进行音频/图像生成，并支持 VLM 以与视觉模型 (如 Qwen2.5-VL) 进行对话。
• 代理能力：内置 MCP 支持工具使用，并与 Claude Code 集成以提供本地编码协助。
• 灵活部署：支持 NVIDIA, AMD, TPU, CPU 和 Apple Silicon (Metal) 加速，并提供企业级 OpenShift/Kubernetes 部署选项。
• 高级控制：包含结构化输出限制 (JSON Schema, Regex)、针对各种模型系列的工具调用，以及用于 PagedAttention 的可观测性仪表板。