Light-Heart-Labs/DreamServer
Turn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.
什么它解决
ODS（Osmantic 部署系统）简化了在本地私有 AI 服务器上进行复杂设置的过程。无需手动配置多个独立的工具来进行推理、聊天界面和自动化，ODS 提供了一键安装，能够在您自己的硬件上连接一整套 AI 服务生态系统。
它是如何工作的
ODS 使用自动安装程序，检测您的 GPU（NVIDIA、AMD、Intel Arc 或 Apple Silicon），并根据您可用的 VRAM/RAM 选择最合适的 LLM。它使用 Docker 和原生二进制文件部署预先连接好的服务堆栈，包括：
- 推理：
llama-server用于高性能本地 LLM 执行。 - 界面： Open WebUI 提供类似 ChatGPT 的体验。
- 代理 & 自动化： n8n 用于工作流，Hermes Agent 用于自主任务，以及 OpenCode 用于 AI 编码。
- 知识： Qdrant（向量数据库）和 SearXNG 用于 RAG 和私有网络搜索。
- 创意： ComfyUI 用于图像生成。
- 语音： Whisper（语音转文本）和 Kokoro（文本转语音）。
它具有一种“引导模式”，先下载一个微型模型，使用户能够在两分钟内开始聊天，而完整模型在后台下载。
它适合谁
希望拥有主权、私有 AI 家庭实验室或工作站的个人、研究人员和开发者，无需具备 CUDA 驱动或 Docker 配置的深厚技术专长。
亮点
- 一键设置： 自动硬件检测和安装，适用于 Linux、macOS 和 Windows。
- 全栈集成： 开箱即用的预集成推理、RAG、代理、语音和图像生成。
- 硬件优化： 根据广泛的硬件层级定制模型选择（从 8GB CPU 回退到 90GB+ VRAM）。
- 可扩展架构： 服务被视为扩展，使用户能够通过 CLI 轻松添加或禁用组件。
- 隐私优先： 默认情况下完全在本地运行，确保数据和提示保持在用户的机器上。