ODS: ハードウェア検出とサービスオーケストレーションを自動化する、ワンコマンドのローカルAIサーバー・スタック

何を解決するか

ODS (Osmantic Deployment System) は、プライベートでローカルなAIサーバーのセットアッププロセスを簡素化します。推論、チャットインターフェース、および自動化のために複数の個別のツールを手動で設定する代わりに、ODS は、自身のハードウェア上でAIサービスの完全なスタックを統合する、シングルコマンドのインストールを提供します。

仕組み

ODS は、GPU とハードウェア機能を検出する自動インストーラーを使用して、システムに最も適切な LLM (Large Language Model) を自動的に選択します。Docker とネイティブバイナリ (macOS の Metal 加速用の llama-server など) を使用して、事前設定済みのサービススイートを展開します。待ち時間を最小限に抑えるために、フルサイズのモデルがバックグラウンドでダウンロードされている間に、ユーザーがすぐに小さなモデルとチャットできる「ブートストラップモード」を使用します。

対象者

CUDA ドライバーや Docker 設定に関する深い技術的専門知識を必要とせずに、自宅、研究室、またはワークステーションで、主権的でプライベートなAI環境を構築したい個人向けに設計されています。

ハイライト

• One-Command Setup: Linux、macOS (Apple Silicon)、および Windows 用の自動インストール。
• Full-Service Stack: チャット用の Open WebUI、推論用の llama-server、ワークフロー用の n8n、および画像生成用の ComfyUI を含みます。
• Hardware Auto-Detection: VRAM/RAM を特定のモデルティア (例: Qwen, Phi, DeepSeek) に自動的にマッピングします。
• Local-First Privacy: デフォルトですべてのデータとプロンプトがローカルマシンに保持されます。LiteLLM を介したオプションのクラウド/ハイブリッドモードも利用可能です。
• Extensible Architecture: 新しいサービスは、シンプルなマニフェストと compose ファイルを介して拡張機能として追加できます。
• Integrated Tooling: GPU メトリクス用のコントロールダッシュボードと、スタック管理用の CLI を含みます。