Light-Heart-Labs/ODS

Turn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.

해결하는 문제

ODS (Osmantic Deployment System)는 프라이빗 로컬 AI 서버를 설정하는 프로세스를 단순화합니다. 추론, 채팅 인터페이스 및 자동화를 위해 여러 개별 도구를 수동으로 구성하는 대신, ODS는 단일 명령 설치를 통해 사용자의 하드웨어에 완전한 AI 서비스 제품군을 연결합니다.

작동 방식

ODS는 자동 설치 프로그램을 사용하여 GPU (NVIDIA, AMD, Intel Arc) 또는 Apple Silicon 칩을 감지하고, 사용 가능한 VRAM/RAM을 기반으로 가장 적합한 LLM 모델을 자동으로 선택합니다. Docker 및 네이티브 바이너리를 사용하여 추론을 위한 llama-server, 채팅 인터페이스를 위한 Open WebUI, RAG를 위한 Qdrant를 포함한 사전 구성된 서비스 스택을 배포합니다. 또한 전체 크기 모델이 백그라운드에서 다운로드되는 동안 사용자가 즉시 작은 모델과 채팅을 시작할 수 있는 "부트스트랩 모드"를 특징으로 합니다.

대상 사용자

CUDA 드라이버 또는 Docker 구성에 대한 깊은 기술적 전문 지식 없이도 프라이빗 AI 홈랩, 워크스테이션 또는 실험 환경을 원하는 개인을 위해 설계되었습니다.

주요 특징

원커맨드 설정: Linux, macOS 및 Windows에서 전체 AI 스택을 신속하게 배포합니다.
AI 도구 큐레이션: Open WebUI, 워크플로우를 위한 n8n, 이미지를 위한 ComfyUI, 음성을 위한 Whisper/Kokoro를 통합합니다.
하드웨어 자동 감지: 하드웨어 티어를 가장 적합한 GGUF 모델에 자동으로 매핑합니다.
확장 가능한 아키텍처: 간단한 매니페스트를 통해 사용자가 새로운 서비스를 확장 기능으로 추가할 수 있습니다.
개인정보 보호 우선: 클라우드 구독이 필요 없이 완전히 로컬에서 실행되지만, 선택적으로 하이브리드/클라우드 모드를 사용할 수 있습니다.