ODS: GPU検出とサービスオーケストレーションを自動化するワンコマンド・ローカルAIサーバー・スタック

解決する課題

ODS (Osmantic Deployment System) は、プライベートなローカルAIサーバーのセットアッププロセスを簡素化します。推論、チャットインターフェース、および自動化のために複数の個別のツールを手動で設定する代わりに、ODSは単一のコマンドによるインストールを提供し、自身のハードウェア上で完全なAIスタックを構築して、データとプロンプトのプライバシーを確保します。

仕組み

ODSはモジュール式のインストーラーを使用し、GPU (NVIDIA, AMD, Intel Arc, または Apple Silicon) を検出し、利用可能なVRAMまたはRAMに基づいて最適なLLMを自動的に選択します。Dockerおよびネイティブバイナリ (macOSのMetal加速のための llama-server など) を使用して、事前設定済みのサービススイートをデプロイします。

待ち時間を最小限に抑えるため、まず小さなモデルをダウンロードする「ブートストラップモード」を採用しており、フルサイズのモデルがバックグラウンドでダウンロードされている間に、すぐにチャットを開始できます。

対象ユーザー

コンピュータサイエンスの学位や、CUDAドライバーおよびDocker設定に関する広範な経験を必要とせずに、プライベートなAIホームラボまたはワークステーションを構築したい個人向けに設計されています。

ハイライト

• ワンコマンド・セットアップ: Linux, macOS, および Windows 用の自動GPU検出とサービスオーケストレーション。
• フルサービス・スタック: チャット用の Open WebUI、推論用の llama-server、ワークフロー用の n8n、RAG用の Qdrant、および画像生成用の ComfyUI を含みます。
• ハードウェア認識型: パフォーマンスを最適化するために、ハードウェアのティアを特定の GGUF モデルに自動的にマッピングします。
• 拡張可能なアーキテクチャ: サービスは拡張機能として扱われ、マニフェストシステムを介してユーザーが新しいツールを簡単に簡単に追加、または有効/無効にできます。
• プライバシー第一: デフォルトで完全にローカルで動作しますが、LiteLLM を介してオプションのクラウド/ハイブリッドモードも利用可能です。