Osmantic/ODS

해결하는 문제

ODS (Osmantic Deployment System)는 프라이빗 로컬 AI 서버를 설정하는 복잡한 프로세스를 단순화합니다. 추론, 채팅 인터페이스 및 자동화를 위해 여러 이질적인 도구를 수동으로 구성하는 대신, ODS는 PC, Mac 또는 Linux 머신을 완전히 기능하는 AI 홈랩으로 변환하는 사전 구성된 원-커맨드 설치를 제공합니다.

작동 방식

ODS는 일련의 오픈 소스 AI 서비스를 설치하고 통합하는 오케스트레이션 레이어 역할을 합니다. Docker를 사용하여 llama-server(추론), Open WebUI(채팅 인터페이스), Qdrant(벡터 저장소)를 포함하는 스택을 배포합니다. 이 시스템에는 자동 하드웨어 감지 메커니즘이 포함되어 있어 사용자의 GPU와 RAM을 분석하고, 장치의 메모리 용량에 따라 가장 적합한 LLM(Qwen, Phi, DeepSeek와 같은 모델 카탈로그에서 선택)을 선택합니다.

대상 사용자

컴퓨터 과학 학위나 CUDA 드라이버 및 Docker 구성에 대한 깊은 전문 지식 없이도 자신의 하드웨어에서 프라이빗 AI 기능을 사용하고자 하는 개인을 위해 설계되었습니다. 여기에는 홈 사용자, 연구실 연구원 또는 워크스테이션을 사용하는 전문가가 포함됩니다.

주요 특징

• 원-커맨드 설정: Linux, macOS (Apple Silicon) 및 Windows (WSL2를 통해)에서 신속한 배포.
• 하드웨어 자동 감지: 하드웨어 티어를 자동으로 할당하고 감지된 VRAM/RAM에 가장 적합한 GGUF 모델을 선택합니다.
• 부트스트랩 모드: 전체 크기의 모델이 백그라운드에서 다운로드되는 동안 사용자가 즉시 작은 모델과 채팅을 시작할 수 있도록 합니다.
• 통합 AI 스택: 추론, RAG (Qdrant 및 SearXNG를 통해), 음성 (Whisper 및 Kokoro), 에이전트 (Hermes) 및 이미지 생성 (ComfyUI)을 단일 관리 환경으로 결합합니다.
• 제어 대시보드: GPU 메트릭 모니터링, 모델 관리 및 서비스 상태 확인을 위한 중앙 허브.