Light-Heart-Labs/DreamServer

Turn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.

What it solves

ODS (Osmantic Deployment System)는 개인용 로컬 AI 서버 설정을 간소화합니다. 추론, 채팅 인터페이스, 자동화를 위한 여러 별도 도구를 수동으로 구성하는 대신, ODS는 단일 명령 설치로 자체 하드웨어에서 완전한 AI 서비스 생태계를 연결합니다.

How it works

ODS는 사용 가능한 VRAM/RAM에 따라 가장 적합한 LLM을 선택하는 GPU(NVIDIA, AMD, Intel Arc, 또는 Apple Silicon)를 감지하는 자동 설치 프로그램을 사용합니다. Docker와 네이티브 바이너리를 사용하여 사전 연결된 서비스 스택을 배포하며, 다음과 같은 서비스가 포함됩니다:

추론: llama-server 로 고성능 로컬 LLM 실행.
인터페이스: Open WebUI 로 ChatGPT와 유사한 경험.
에이전트 및 자동화: n8n 으로 워크플로우, Hermes Agent 로 자율 작업, 그리고 OpenCode 로 AI 코딩.
지식: Qdrant (벡터 DB) 및 SearXNG 로 RAG 및 프라이빗 웹 검색.
창작: ComfyUI 로 이미지 생성.
음성: Whisper (STT) 및 Kokoro (TTS).

이 기능은 '부트스트랩 모드'를 제공하여 사용자가 백그라운드에서 전체 모델이 다운로드되는 동안 작은 모델을 먼저 다운로드하여 2분 이내에 채팅을 시작할 수 있게 합니다.

Who it’s for

CUDA 드라이버나 Docker 설정에 대한 깊은 기술 지식이 필요 없이 주권적인 개인용 로컬 AI 홈랩 또는 워크스테이션을 원하는 개인, 연구원, 개발자.

Highlights

원-명령 설정: Linux, macOS, 및 Windows용 자동 하드웨어 감지 및 설치.
풀-스택 통합: 추론, RAG, 에이전트, 음성, 이미지 생성을 기본적으로 사전 통합.
하드웨어 최적화: 8GB CPU 폴백에서 90GB+ VRAM까지 다양한 하드웨어 티어에 맞춘 모델 선택.
확장 가능한 아키텍처: 서비스는 확장 기능으로 취급되어 CLI를 통해 구성 요소를 쉽게 추가하거나 비활성화할 수 있습니다.
프라이버시 우선: 기본적으로 완전히 로컬에서 실행되어 사용자의 머신에 데이터와 프롬프트가 유지됨을 보장합니다.