Osmantic/ODS

Turn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.

해결하는 문제

로컬 AI를 실행하려면 Ollama, Open WebUI, n8n과 같은 수많은 복잡한 서비스를 수동으로 연결해야 하는 경우가 많으며, 이는 구성 및 디버깅이 어려울 수 있습니다. ODS는 이 전체 프로세스를 자동화하여 PC, Mac 또는 Linux 머신을 단 하나의 명령어로 프라이빗하고 주권적인 AI 서버로 변환합니다.

작동 방식

이 시스템은 하드웨어(NVIDIA, AMD 또는 Apple Silicon)를 감지하고 사용 가능한 VRAM/RAM을 기반으로 최적의 AI 모델을 자동으로 선택하는 지능형 설치 프로그램을 사용합니다. Docker 및 사용 가능한 경우 네이티브 가속을 사용하여 추론을 위한 llama-server, 채팅을 위한 Open WebUI, 벡터 저장을 위한 Qdrant를 포함한 서비스 세트를 오케스트레이션합니다. 또한 대형 모델이 백그라운드에서 다운로드되는 동안 즉시 가벼운 모델을 제공하는 "부트스트랩 모드"를 특징으로 합니다.

대상 사용자

개인정보 보호를 중시하는 사용자: 데이터를 클라우드로 전송하지 않고 로컬에서 AI를 실행하고자 하는 사용자.
Homelab 애호가: 즉시 사용 가능한 사전 구성된 AI 어플라이언스를 찾는 사용자.
개발자 및 연구자: 수동 구성 없이 에이전트, 워크플로우 및 RAG를 테스트하기 위한 관리형 로컬 스택이 필요한 사용자.

주요 특징

자동 하드웨어 감지: GPU 또는 통합 메모리 용량에 따라 최적의 모델 티어를 자동으로 선택합니다.
올인원 스택: 텍스트 추론, 이미지 생성 (ComfyUI), 음성 (Whisper/Kokoro) 및 워크플로우 자동화 (n8n)가 포함됩니다.
에이전트 기능: 자율 작업을 위한 Hermes Agent와 브라우저 기반 코딩 지원을 위한 OpenCode를 제공합니다.
확장 가능한 아키텍처: Docker Compose를 통해 모듈식 확장으로 새로운 서비스를 추가할 수 있습니다.
관리 도구: GPU 메트릭을 위한 중앙 집중식 대시보드와 서비스 및 모델 관리를 위한 CLI를 포함합니다.