Osmantic/ODS
ODS V3 Pre-Release: Public testing and refinement ahead of the official V3 launch. Turn your PC, Mac, or Linux box into a private AI server.
它解决了什么问题
ODS (Osmantic Deployment System) 消除了设置私有本地 AI 服务器的复杂性。ODS 不再需要手动安装和配置多个分散的推理、聊天界面和自动化工具，而是提供了一键安装功能，将这些服务整合到您自己硬件上的一个连贯的私有 AI 堆栈中。
运作方式
ODS 使用一系列安装程序（Linux/macOS 使用 bash，Windows/WSL2 使用 PowerShell）来部署一套容器化服务。它会自动侦测用户的 GPU（NVIDIA、AMD 或 Apple Silicon）以选择合适的推理引擎（例如 llama-server）和模型。该系统整合了多个开源组件——包括用于聊天的 Open WebUI、用于向量存储的 Qdrant 以及用于工作流程的 n8n——并通过一个集中式控制仪表板进行管理，以监控 GPU 状态和服务健康状况。
目标用户
它专为希望在工作站或服务器上本地运行私有 AI 的个人、家庭实验室爱好者和专业人士而设计，无需具备 CUDA 驱动程序、Docker 配置或手动 API 连接的深厚专业知识。
特色亮点
- 一键安装：自动侦测硬件并配置整个堆栈。
- 默认私有：无需云端要求或遥测；数据和聊天记录保留在本地机器上。
- 综合工具集：包含本地 LLM 推理、图像生成 (ComfyUI)、语音转文字 (Whisper) 和文字转语音 (Kokoro)。
- 代理工作流程：整合 n8n 进行自动化，并包含 Portal 和 Hermes 等专用代理。
- RAG 与搜索：内置通过 Qdrant 进行检索增强生成 (RAG) 的支持，以及通过 SearXNG 进行私有网络搜索。
- 跨平台：支持 Linux、macOS (Apple Silicon) 和 Windows (通过 WSL2/Docker Desktop)。
相关
- 项目
- 项目
- 项目
- 项目
- 项目