ODS: 하드웨어 감지 및 서비스 오케스트레이션을 자동화하는 원클릭 로컬 AI 서버 스택

해결하는 문제

ODS (Osmantic Deployment System)는 프라이빗한 로컬 AI 서버를 구축하는 과정을 단순화합니다. 추론, 채팅 인터페이스, 자동화 등을 위해 여러 개의 별도 도구를 수동으로 설정하는 대신, ODS는 단일 명령어로 사용자의 하드웨어에 완전한 AI 서비스 스택을 연결하는 설치를 제공합니다.

작동 방식

ODS는 GPU 및 하드웨어 성능을 감지하여 시스템에 가장 적합한 LLM (Large Language Model)을 자동으로 선택하는 자동 설치 프로그램을 사용합니다. Docker 및 네이티브 바이너리(macOS Metal 가속을 위한 llama-server 등)를 사용하여 사전 구성된 서비스 세트를 배포합니다. 대기 시간을 최소화하기 위해, 전체 크기의 모델이 백그라운드에서 다운로드되는 동안 사용자가 즉시 작은 모델과 채팅할 수 있도록 하는 "bootstrap mode"를 사용합니다.

대상 사용자

CUDA 드라이버나 Docker 설정에 대한 깊은 기술적 전문 지식 없이도 집, 연구실 또는 워크스테이션에서 주권적이고 프라이빗한 AI 환경을 구축하고자 하는 개인을 위해 설계되었습니다.

주요 특징

• One-Command Setup: Linux, macOS (Apple Silicon), Windows를 위한 자동화된 설치.
• Full-Service Stack: 채팅을 위한 Open WebUI, 추론을 위한 llama-server, 워크플로우를 위한 n8n, 이미지 생성을 위한 ComfyUI 포함.
• Hardware Auto-Detection: VRAM/RAM을 특정 모델 티어(예: Qwen, Phi, DeepSeek)에 자동으로 매핑.
• Local-First Privacy: 모든 데이터와 프롬프트는 기본적으로 로컬 머신에 유지되며, LiteLLM을 통해 클라우드/하이브리드 모드를 선택적으로 사용할 수 있습니다.
• Extensible Architecture: 간단한 manifest 및 compose 파일을 통해 새로운 서비스를 확장 기능으로 추가할 수 있습니다.
• Integrated Tooling: GPU 메트릭을 위한 제어 대시보드와 스택 관리를 위한 CLI를 포함합니다.