Osmantic/ODS

Turn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.

解决的问题

运行本地 AI 通常需要手动组合许多复杂的服务，如 Ollama、Open WebUI 和 n8n，这可能难以配置和调试。ODS 实现了整个流程的自动化，只需一条命令即可将 PC、Mac 或 Linux 机器转换为私有的、自主的 AI 服务器。

工作原理

该系统使用智能安装程序来检测您的硬件（NVIDIA、AMD 或 Apple Silicon），并根据您可用的 VRAM/RAM 自动选择最佳 AI 模型。它通过 Docker 以及在可用时使用原生加速，编排了一系列服务——包括用于推理的 llama-server、用于聊天的 Open WebUI 和用于向量存储的 Qdrant。 它还具有“引导模式”，在大型模型后台下载时提供即时的轻量级模型。

适用对象

  • 注重隐私的用户：希望在不将数据发送到云端的情况下在本地运行 AI。
  • Homelab 爱好者：正在寻找开箱即用的预配置 AI 设备。
  • 开发人员和研究人员：需要一个托管的本地栈，以便在无需手动配置的情况下测试智能体、工作流和 RAG。

亮点

  • 自动硬件检测： 根据您的 GPU 或统一内存容量自动选择最佳模型层级。
  • 全栈集成： 包括文本推理、图像生成 (ComfyUI)、语音 (Whisper/Kokoro) 和工作流自动化 (n8n)。
  • 智能体能力： 具备用于自主任务的 Hermes Agent 和用于基于浏览器的编码辅助的 OpenCode。
  • 可扩展架构： 允许用户通过 Docker Compose 将新服务作为模块化扩展添加。
  • 管理工具： 包括用于 GPU 指标的集中式仪表板以及用于管理服务和模型的 CLI。