Osmantic/ODS

解決する課題

ODS (Osmantic Deployment System) は、プライベートなローカルAIサーバーを構築する複雑なプロセスを簡素化します。推論、チャットインターフェース、自動化のために複数の異なるツールを手動で設定する代わりに、ODSはワンコマンドの事前構成済みインストールを提供し、PC、Mac、またはLinuxマシンを完全に機能するAIホームラボへと変貌させます。

仕組み

ODSは、一連のオープンソースAIサービスをインストールして統合するオーケストレーション層として機能します。Dockerを使用して、推論用の llama-server、チャットインターフェース用の Open WebUI、ベクトルストレージ用の Qdrant を含むスタックをデプロイします。このシステムには自動ハードウェア検出メカニズムが含まれており、ユーザーのGPUとRAMを分析し、デバイスのメモリ容量に基づいて、最適なLLM（Qwen、Phi、DeepSeekなどのモデルカタログから選択）を選択します。

対象者

コンピュータサイエンスの学位や、CUDAドライバーおよびDocker設定に関する深い専門知識を必要とせずに、自身のハードウェアでプライベートなAI機能を利用したい個人向けに設計されています。これには、ホームユーザー、研究室の研究者、またはワークステーションを使用するプロフェッショナルが含まれます。

ハイライト

• ワンコマンド設定: Linux、macOS (Apple Silicon)、Windows (WSL2経由) での迅速なデプロイ。
• ハードウェア自動検出: ハードウェアティアを自動的に割り当て、検出されたVRAM/RAMに最適なGGUFモデルを選択します。
• ブートストラップモード: フルサイズのモデルがバックグラウンドでダウンロードされている間に、ユーザーがすぐに小さなモデルでチャットを開始できるようにします。
• 統合されたAIスタック: 推論、RAG (Qdrant および SearXNG 経由)、音声 (Whisper および Kokoro)、エージェント (Hermes)、画像生成 (ComfyUI) を単一の管理環境に統合します。
• コントロールダッシュボード: GPUメトリクスの監視、モデルの管理、サービスの健全性の確認を行うためのセントラルハブ。