Osmantic/ODS

ODS V3 Pre-Release: Public testing and refinement ahead of the official V3 launch. Turn your PC, Mac, or Linux box into a private AI server.

解決する課題

ODS (Osmantic Deployment System) は、プライベートなローカルAIサーバーを構築する際の複雑さを解消します。推論、チャットインターフェース、自動化のための複数のツールを個別にインストール・設定する代わりに、ODSはワンコマンドでこれらをインストールし、自身のハードウェア上で一貫したプライベートAIスタックとして連携させます。

仕組み

ODSは、一連のインストーラー(Linux/macOS用はbash、Windows/WSL2用はPowerShell)を使用して、コンテナ化されたサービス群をデプロイします。ユーザーのGPU(NVIDIA、AMD、またはApple Silicon)を自動的に検出し、適切な推論エンジン(llama-serverなど)とモデルを選択します。このシステムは、チャット用のOpen WebUI、ベクトルストレージ用のQdrant、ワークフロー用のn8nなど、複数のオープンソースコンポーネントを統合しており、集中管理ダッシュボードを通じてGPUの状態やサービスの健全性を監視できます。

対象ユーザー

CUDAドライバー、Docker設定、手動でのAPI接続に関する深い専門知識がなくても、ワークステーションやサーバー上でプライベートAIをローカルに実行したい個人、ホームラボ愛好家、専門家向けに設計されています。

特徴

  • ワンコマンドセットアップ:ハードウェアを自動検出し、スタック全体を構成します。
  • デフォルトでプライベート:クラウド要件やテレメトリは一切ありません。データやチャット履歴はローカルマシン内に留まります。
  • 包括的なツールセット:ローカルLLM推論、画像生成 (ComfyUI)、音声認識 (Whisper)、音声合成 (Kokoro) を含みます。
  • エージェントワークフロー:自動化のためにn8nを統合し、PortalやHermesといった専用エージェントが含まれています。
  • RAGと検索:Qdrantによる検索拡張生成 (RAG) と、SearXNGによるプライベートなウェブ検索を標準サポートしています。
  • クロスプラットフォーム:Linux、macOS (Apple Silicon)、Windows (WSL2/Docker Desktop経由) をサポートしています。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト