AlexsJones/llmserve

解决的问题

llmserve 提供统一的终端用户界面（TUI），用于发现和启动本地 LLM 推理服务器。它消除了在不同模型文件（如 GGUF 或 MLX）和各种推理引擎之间切换时，需要记住复杂的 CLI 标志或管理多个配置文件的麻烦。

工作原理

该工具会扫描系统中安装的推理后端（如 llama-server、KoboldCpp 和 MLX），并搜索预定义和自定义目录中的模型文件。通过交互式的三面板界面，用户可以浏览自己的模型库，选择后端并启动服务器。它会处理后端进程的执行、端口管理，并将服务器日志实时流式传输到 TUI 中，以便进行实时监控和崩溃诊断。

适用人群

适用于运行多种本地 LLM 的用户，希望无需手动配置每个启动命令，即可快速、集中地启动模型。

主要亮点

• 多后端支持：自动检测包括 llama-server、KoboldCpp、LocalAI、MLX、Ollama、vLLM 和 LM Studio 在内的引擎。
• 统一模型发现：自动在常见路径（LM Studio、HuggingFace、llama.cpp）中查找模型，并支持添加自定义目录。
• 实时日志流式传输：捕获后端的 stdout/stderr，并在颜色编码的日志面板中显示，支持自动换行。
• 可自定义预设：通过 TOML 文件为每个后端配置上下文大小、GPU 层、批处理大小和额外 CLI 参数。
• 视觉支持：自动检测 mmproj 投影文件，以在 llama-server 中启用视觉功能。