ODS: 一鍵式本地 AI 伺服器堆疊，自動化硬體偵測與服務編排

它解決了什麼問題

ODS (Osmantic Deployment System) 簡化了建立私有、本地 AI 伺服器的過程。與其手動配置多個用於推論、聊天介面和自動化的獨立工具，ODS 提供了一鍵式安裝，將完整的 AI 服務堆疊整合到您自己的硬體上。

運作原理

ODS 使用自動化安裝程式來偵測您的 GPU 和硬體能力，以自動為您的系統選擇最合適的 LLM (Large Language Model)。它使用 Docker 和原生二進位檔（例如用於 macOS Metal 加速的 llama-server）來部署一系列預先配置好的服務。為了將等待時間降至最低，它使用「引導模式」(bootstrap mode)，讓使用者在完整模型下載的同時，能立即與小型模型進行聊天。

目標對象

它專為想要在家庭、實驗室或工作站中建立主權、私有 AI 環境，且不需要具備 CUDA 驅動程式或 Docker 配置方面的深厚技術專業知識的人士所設計。

重點特色

• 一鍵式設定：支援 Linux、macOS (Apple Silicon) 和 Windows 的自動化安裝。
• 全方位服務堆疊：包含用於聊天的 Open WebUI、用於推論的 llama-server、用於工作流的 n8n，以及用於圖像生成的 ComfyUI。
• 硬體自動偵測：自動將 VRAM/RAM 對應到特定的模型層級（例如 Qwen、Phi、DeepSeek）。
• 本地優先的隱私保護：預設情況下，所有數據和提示詞 (prompts) 都保留在本地機器上，並可透過 LiteLLM 提供選用的雲端/混合模式。
• 可擴展架構：可以透過簡單的 manifest 和 compose 檔案作為擴展功能來新增服務。
• 整合式工具：包含用於 GPU 指標的控制儀表板，以及用於堆疊管理的 CLI。