Light-Heart-Labs/ODS

Turn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.

解決する課題

ODS (Osmantic Deployment System) は、プライベートなローカルAIサーバーのセットアッププロセスを簡素化します。推論、チャットインターフェース、自動化のために複数のツールを手動で設定する代わりに、ODSはワンコマンドのインストールにより、自身のハードウェア上に完全なAIサービススイートを構築します。

仕組み

ODSは自動インストーラーを使用し、GPU (NVIDIA, AMD, Intel Arc) または Apple Silicon チップを検出して、利用可能な VRAM/RAM に基づいて最適な LLM モデルを自動的に選択します。Docker とネイティブバイナリを使用して、推論用の llama-server、チャットインターフェース用の Open WebUI、RAG用の Qdrant を含む、事前設定済みのサービススタックをデプロイします。また、バックグラウンドでフルサイズのモデルをダウンロードしている間に、すぐに小さなモデルでチャットを開始できる「ブートストラップモード」も備えています。

対象者

CUDA ドライバーや Docker の設定に関する深い技術的知識を必要とせずに、プライベートな AI ホームラボ、ワークステーション、またはラボ環境を構築したい個人向けに設計されています。

ハイライト

ワンコマンドセットアップ: Linux、macOS、Windows 上にフルAIスタックを迅速にデプロイ。
AIツールのキュレーション: Open WebUI、ワークフロー用の n8n、画像用の ComfyUI、音声用の Whisper/Kokoro を統合。
ハードウェアの自動検出: ハードウェアのティアを最も適切な GGUF モデルに自動的にマッピング。
拡張可能なアーキテクチャ: シンプルなマニフェストを介して、ユーザーが新しいサービスを拡張機能として追加可能。
プライバシー第一: クラウドのサブスクリプションを必要とせず、完全にローカルで動作（オプションでハイブリッド/クラウドモードも利用可能）。