AlexsJones/llmserve

解決的問題

llmserve 提供統一的終端使用者介面（TUI），用於發現和啟動本地 LLM 推論伺服器。它消除了在不同模型檔案（如 GGUF 或 MLX）和各種推論引擎之間切換時，需要記住複雜的 CLI 標誌或管理多個設定檔的麻煩。

工作原理

該工具會掃描系統中安裝的推論後端（如 llama-server、KoboldCpp 和 MLX），並搜尋預設和自訂目錄中的模型檔案。透過互動式的三面板介面，使用者可以瀏覽自己的模型圖書館，選擇後端並啟動伺服器。它會處理後端程序的執行、埠口管理，並將伺服器日誌即時串流至 TUI 中，以便進行即時監控和當機診斷。

適用對象

適用於運行多種本地 LLM 的使用者，希望無需手動設定每個啟動命令，即可快速、集中地啟動模型。

主要亮點

• 多後端支援：自動偵測包括 llama-server、KoboldCpp、LocalAI、MLX、Ollama、vLLM 和 LM Studio 在內的引擎。
• 統一模型發現：自動在常見路徑（LM Studio、HuggingFace、llama.cpp）中查找模型，並支援新增自訂目錄。
• 即時日誌串流：捕獲後端的 stdout/stderr，並在色彩編碼的日誌面板中顯示，支援自動換行。
• 可自訂預設：透過 TOML 檔案為每個後端設定上下文大小、GPU 層、批次大小和額外 CLI 參數。
• 視覺支援：自動偵測 mmproj 投影檔案，以在 llama-server 中啟用視覺功能。