Light-Heart-Labs/ODS

Turn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.

解决的问题

ODS (Osmantic Deployment System) 简化了设置私有本地 AI 服务器的过程。无需手动配置用于推理、聊天界面和自动化的多个独立工具，ODS 通过单条命令安装，即可在您的硬件上构建完整的 AI 服务套件。

工作原理

ODS 使用自动安装程序检测您的 GPU (NVIDIA, AMD, Intel Arc) 或 Apple Silicon 芯片，并根据您可用的 VRAM/RAM 自动选择最合适的 LLM 模型。它使用 Docker 和原生二进制文件部署预配置的服务栈——包括用于推理的 llama-server、用于聊天界面的 Open WebUI 以及用于 RAG 的 Qdrant。它还具有“引导模式 (bootstrap mode)”，允许用户在后台下载完整尺寸模型的同时，立即开始与小型模型进行聊天。

适用对象

专为想要构建私有 AI 家庭实验室、工作站或实验环境，且不需要具备 CUDA 驱动程序或 Docker 配置深厚技术知识的个人设计。

亮点

一键式设置：在 Linux、macOS 和 Windows 上快速部署完整的 AI 技术栈。
AI 工具精选：集成了 Open WebUI、用于工作流的 n8n、用于图像的 ComfyUI 以及用于语音的 Whisper/Kokoro。
硬件自动检测：自动将硬件层级映射到最合适的 GGUF 模型。
可扩展架构：允许用户通过简单的清单 (manifests) 将新服务作为扩展添加。
隐私至上：完全在本地运行，无需云端订阅，尽管也提供可选的混合/云端模式。