Osmantic/ODS

解決する課題

ローカルAIの実行には、Ollama、Open WebUI、n8nといった多数の複雑なサービスを手動で組み合わせる必要があり、設定やデバッグが困難な場合があります。ODS はこのプロセス全体を自動化し、コマンド一つで PC、Mac、または Linux マシンをプライベートで主権的な AI サーバーへと変換します。

仕組み

このシステムは、ハードウェア（NVIDIA、AMD、または Apple Silicon）を検出し、利用可能な VRAM/RAM に基づいて最適な AI モデルを自動的に選択するインテリジェントなインストーラーを使用します。Docker および利用可能な場合はネイティブのアクセラレーションを使用して、推論用の llama-server、チャット用の Open WebUI、ベクトルストレージ用の Qdrant を含む一連のサービスをオーケストレーションします。また、大きなモデルがバックグラウンドでダウンロードされている間に、即座に軽量モデルを提供できる「ブートストラップモード」も備えています。

対象ユーザー

• プライバシーを重視するユーザー: データをクラウドに送信せずにローカルで AI を実行したい方。
• Homelab 愛好家: ターンキーで設定済みの AI アプライアンスを探している方。
• 開発者および研究者: 手動設定なしで、エージェント、ワークフロー、RAG をテストするための管理されたローカルスタックを必要とする方。

ハイライト

• 自動ハードウェア検出: GPU またはユニファイドメモリの容量に基づいて、最適なモデルティアを自動的に選択します。
• オールインワン・スタック: テキスト推論、画像生成 (ComfyUI)、音声 (Whisper/Kokoro)、およびワークフロー自動化 (n8n) が含まれます。
• エージェント機能: 自律的なタスクのための Hermes Agent と、ブラウザベースのコーディング支援のための OpenCode を搭載しています。
• 拡張可能なアーキテクチャ: Docker Compose を介して、モジュール式の拡張として新しいサービスを追加できます。
• 管理ツール: GPU メトリクス用の集中ダッシュボードと、サービスおよびモデルを管理するための CLI を備えています。