Light-Heart-Labs/DreamServer
Turn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.
什麼它解決
ODS（Osmantic 部署系統）簡化了在私人本機上設置 AI 伺服器的複雜過程。與其手動配置多個分離的工具用於推理、聊天介面和自動化，ODS 提供單指令安裝，將一套完整的 AI 服務生態系統連接在您自己的硬體上。
它是如何運作的
ODS 使用自動安裝程式，偵測您的 GPU（NVIDIA、AMD、Intel Arc 或 Apple Silicon），並根據您可用的 VRAM/RAM 選擇最適合的 LLM。它使用 Docker 和原生二進位檔案部署預先連接好的服務堆疊，包括：
- 推理：
llama-server用於高效能的本機 LLM 執行。 - 介面： Open WebUI 提供類似 ChatGPT 的體驗。
- 代理與自動化： n8n 用於工作流程，Hermes Agent 用於自主任務，OpenCode 用於 AI 編碼。
- 知識： Qdrant（向量資料庫）和 SearXNG 用於 RAG 和私人網路搜尋。
- 創意： ComfyUI 用於圖像生成。
- 語音： Whisper (STT) 和 Kokoro (TTS)。
它具備「啟動模式」，先下載一個微型模型，讓使用者在兩分鐘內即可開始聊天，同時完整模型在背景繼續下載。
它適合誰
希望擁有主權、私人 AI 家用實驗室或工作站的個人、研究人員和開發者，無需具備 CUDA 驅動程式或 Docker 配置的深入技術專業知識。
亮點
- 單指令安裝： 自動硬體偵測與安裝，適用於 Linux、macOS 和 Windows。
- 完整堆疊整合： 預先整合推理、RAG、代理、語音和圖像生成，直接開箱即用。
- 硬體優化： 根據廣泛的硬體階層選擇適合的模型（從 8GB CPU 後備到 90GB+ VRAM）。
- 可擴充架構： 服務被視為擴充功能，讓使用者可透過 CLI 輕鬆新增或停用元件。
- 隱私優先： 預設完全在本機運行，確保資料和提示詞停留在使用者的機器上。