Light-Heart-Labs/ODS

Turn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.

解決的問題

ODS (Osmantic Deployment System) 簡化了設置私有本地 AI 伺服器的過程。無需手動配置用於推理、聊天介面和自動化的多個獨立工具，ODS 透過單一指令安裝，即可在您的硬體上構建完整的 AI 服務套件。

工作原理

ODS 使用自動安裝程式檢測您的 GPU (NVIDIA, AMD, Intel Arc) 或 Apple Silicon 晶片，並根據您可用的 VRAM/RAM 自動選擇最適合的 LLM 模型。它使用 Docker 和原生二進位檔案部署預配置的服務堆疊——包括用於推理的 llama-server、用於聊天介面的 Open WebUI 以及用於 RAG 的 Qdrant。它還具有「引導模式 (bootstrap mode)」，允許使用者在背景下載完整尺寸模型的同時，立即開始與小型模型進行聊天。

適用對象

專為想要構建私有 AI 家庭實驗室、工作站或實驗環境，且不需要具備 CUDA 驅動程式或 Docker 配置深厚技術知識的個人設計。

亮點

一鍵式設定：在 Linux、macOS 和 Windows 上快速部署完整的 AI 技術棧。
AI 工具精選：整合了 Open WebUI、用於工作流的 n8n、用於圖像的 ComfyUI 以及用於語音的 Whisper/Kokoro。
硬體自動檢測：自動將硬體層級映射到最適合的 GGUF 模型。
可擴展架構：允許使用者透過簡單的清單 (manifests) 將新服務作為擴充功能添加。
隱私至上：完全在本地執行，無需雲端訂閱，儘管也提供可選的混合/雲端模式。