Osmantic/ODS

Turn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.

解決的問題

執行本地 AI 通常需要手動組合許多複雜的服務，例如 Ollama、Open WebUI 與 n8n，這可能很難進行配置與除錯。ODS 將整個流程自動化，只需一個指令即可將 PC、Mac 或 Linux 機器轉換為私有的、自主的 AI 伺服器。

工作原理

該系統使用智慧安裝程式來偵測您的硬體（NVIDIA、AMD 或 Apple Silicon），並根據您可用的 VRAM/RAM 自動選擇最佳 AI 模型。它透過 Docker 以及在可用時使用原生加速，編排了一系列服務——包括用於推理的 llama-server、用於聊天用的 Open WebUI 以及用於向量儲存的 Qdrant。 它還具備「引導模式」，在大型模型於背景下載時提供即時的輕量級模型。

適用對象

  • 注重隱私的使用者：希望在不將數據傳送到雲端的情況下於本地執行 AI。
  • Homelab 愛好者：正在尋找開箱即用的預配置 AI 設備。
  • 開發人員與研究人員：需要一個託管的本地棧，以便在無需手動配置的情況下測試代理、工作流與 RAG。

亮點

  • 自動硬體偵測： 根據您的 GPU 或統一記憶體容量自動選擇最佳模型層級。
  • 全棧整合： 包括文本推理、圖像生成 (ComfyUI)、語音 (Whisper/Kokoro) 與工作流自動化 (n8n)。
  • 代理能力： 具備用於自主任務的 Hermes Agent 與用於瀏覽器端編碼輔助的 OpenCode。
  • 可擴展架構： 允許使用者透過 Docker Compose 將新服務作為模組化擴充添加。
  • 管理工具： 包括用於 GPU 指標的集中式儀表板以及用於管理服務與模型的 CLI。