micytao/vllm-playground

解決的問題

它提供了一個現代化、使用者友善的網頁介面，用於管理和與 vLLM 伺服器互動，無需手動配置複雜的 CLI 指令來進行 LLM 服務。它簡化了在各種硬體 (GPU, CPU, Apple Silicon) 和環境 (本地, 容器, Kubernetes) 中部署和測試開源模型的過程。

運作方式

該專案作為一個管理層 (使用 FastAPI 和 JavaScript 建構)，位於使用者的瀏覽器和 vLLM 後端之間。它可以將 vLLM 作為子程序啟動、透過容器進行管理，或連接到遠端伺服器。它與 Model Context Protocol (MCP) 整合，允許模型使用外部工具，並提供專門的終端介面，將 vLLM 作為 Claude Code 的後端使用。

目標使用者

專為 AI 開發人員和研究人員設計，他們希望有一種視覺化的方式來部署、基準測試和與 vLLM 服務的模型進行對話，而無需每次都深入研究基礎設施配置。

特色亮點

• 多實例管理：使用分頁介面執行並切換多個 vLLM 後端 (子程序、容器或遠端)。
• 多模態支援：與 vLLM-Omni 整合以進行音訊/影像生成，並支援 VLM 以與視覺模型 (如 Qwen2.5-VL) 進行對話。
• 代理能力：內建 MCP 支援工具使用，並與 Claude Code 整合以提供本地編碼協助。
• 靈活部署：支援 NVIDIA, AMD, TPU, CPU 和 Apple Silicon (Metal) 加速，並提供企業級 OpenShift/Kubernetes 部署選項。
• 進階控制：包含結構化輸出限制 (JSON Schema, Regex)、針對各種模型系列的工具呼叫，以及用於 PagedAttention 的可觀測性儀表板。