Osmantic/ODS

ODS V3 Pre-Release: Public testing and refinement ahead of the official V3 launch. Turn your PC, Mac, or Linux box into a private AI server.

해결하는 문제

ODS (Osmantic Deployment System)는 개인용 로컬 AI 서버를 구축하는 복잡성을 제거합니다. 추론, 채팅 인터페이스, 자동화를 위한 여러 도구를 수동으로 설치하고 구성하는 대신, ODS는 원명령어 설치를 통해 이러한 서비스를 자신의 하드웨어에서 일관된 개인용 AI 스택으로 연결합니다.

작동 방식

ODS는 일련의 설치 프로그램(Linux/macOS용 bash, Windows/WSL2용 PowerShell)을 사용하여 컨테이너화된 서비스 제품군을 배포합니다. 사용자의 GPU(NVIDIA, AMD 또는 Apple Silicon)를 자동으로 감지하여 적절한 추론 엔진(예: llama-server)과 모델을 선택합니다. 이 시스템은 채팅을 위한 Open WebUI, 벡터 저장을 위한 Qdrant, 워크플로우를 위한 n8n 등 여러 오픈 소스 구성 요소를 통합하며, 중앙 집중식 제어 대시보드를 통해 GPU 상태와 서비스 상태를 모니터링합니다.

대상 사용자

CUDA 드라이버, Docker 구성 또는 수동 API 연결에 대한 깊은 전문 지식 없이도 워크스테이션이나 서버에서 로컬로 개인용 AI를 실행하려는 개인, 홈랩 애호가 및 전문가를 위해 설계되었습니다.

주요 특징

  • 원명령어 설정: 하드웨어를 자동으로 감지하고 전체 스택을 구성합니다.
  • 기본적으로 비공개: 클라우드 요구 사항이나 원격 측정이 없으며, 데이터와 채팅 기록은 로컬 머신에 유지됩니다.
  • 포괄적인 도구 세트: 로컬 LLM 추론, 이미지 생성 (ComfyUI), 음성 인식 (Whisper), 텍스트 음성 변환 (Kokoro)을 포함합니다.
  • 에이전트 워크플로우: 자동화를 위해 n8n을 통합하며, Portal 및 Hermes와 같은 특수 에이전트가 포함되어 있습니다.
  • RAG 및 검색: Qdrant를 통한 검색 증강 생성(RAG)과 SearXNG를 통한 개인 웹 검색을 기본 지원합니다.
  • 크로스 플랫폼: Linux, macOS (Apple Silicon) 및 Windows (WSL2/Docker Desktop을 통해)를 지원합니다.

관련

  • 프로젝트
    OpenVoiceOS/ovos-installer

    Linux 또는 macOS 기기에서 오픈소스 Open Voice OS 음성 비서(선택적 로컬 음성, Home Assistant 통합, LLM 폴백, 다중 기기 HiveMind 지원 포함)를 설정하는 원커맨드 설치 프로그램입니다.

  • 프로젝트
    osaurus-ai/osaurus

    Osaurus는 개인적인 AI 에이전트를 로컬에서 실행할 수 있는 macOS 전용 앱입니다. 에이전트는 자체 메모리, 고립된 Linux VM 또는 macOS 사전에서 코드를 실행할 수 있으며, 도구(파일 시스템, 브라우저, Apple 앱, 이미지 생성)를 호출하고 암호화된 채널을 통해 안전하게 통신합니다. 이 플랫폼은 로컬 모델(MLX, Apple Foundation Models, Liquid AI) 또는 클라우드 API(OpenAI, Anthropic 등)와 호환되며, 프라이버시 필터링, 암호화된 정체성, 플러그인 지원, 음성 입력, 시스템 전체 단축키 기능을 포함합니다. Homebrew 또는 .dmg를 통해 설치 가능하며, Apple Silicon 기반 macOS 15.5 이상이 필요합니다.

  • 프로젝트
    beclab/Olares

    Olares는 자체 Linux 머신(또는 클러스터)에서 실행되는 오픈소스 개인용 클라우드 운영 체제입니다. Kubernetes를 기반으로 구축되었으며 웹 UI와 일련의 시스템 앱(Files, Vault, Market, Dashboard) 및 AI 전용 에이전트(Lares, OpenClaw)를 제공합니다. 원클릭 모델 설치, GPU 풀링, 프라이빗 네트워킹, CLI "에이전트 스킬"을 통해 개인이나 소규모 팀은 데이터와 컴퓨팅을 로컬에 유지하면서 LLM, 생성형 AI 도구, 홈 오토메이션, 협업 워크스페이스를 호스팅할 수 있습니다.

  • 프로젝트
    jaylfc/taOS

    taOS는 남는 하드웨어(노트북, 라즈베리 파이, 게이밍 PC, 스마트폰)를 개인용 분산 컴퓨팅 클러스터로 바꿔주는 셀프 호스팅 AI 에이전트 플랫폼입니다. 완전한 웹 데스크톱 환경, 프레임워크 독립적 에이전트, 셀프 호스팅 메모리 시스템(taOSmd) 및 대규모 앱/모델 카탈로그를 제공하며, 오프라인 우선 원칙을 따르고 클라우드는 선택 사항입니다. 현재 베타 소프트웨어로 일부 미흡한 점과 검증되지 않은 설치 매니페스트가 포함되어 있습니다.

  • 프로젝트
    onyx-dot-app/onyx-foss

    Onyx는 50개 이상의 애플리케이션에 연결하여 AI 에이전트에게 조직의 내부 데이터에 대한 안전하고 관련성 높은 액세스를 제공하는 자체 호스팅 지식 및 컨텍스트 계층입니다.