Light-Heart-Labs/DreamServer

Turn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.

何を解決するか

ODS（Osmantic Deployment System）は、プライベートでローカルなAIサーバーのセットアップという複雑なプロセスをシンプルにします。推論、チャットインターフェース、自動化のための複数の別々のツールを手動で設定する代わりに、ODSは単一コマンドインストールを提供し、あなたのハードウェア上でAIサービスの完全なエコシステムを結びつけます。

どうやって動作するか

ODSは、GPU（NVIDIA、AMD、Intel Arc、またはApple Silicon）を検出し、利用可能なVRAM/RAMに基づいて最も適切なLLMを選択する自動インストーラーを使用します。Dockerとネイティブバイナリを使用して、事前に配線されたサービススタックをデプロイします。以下を含みます：

  • Inference: llama-server で高性能なローカルLLM実行。
  • Interface: Open WebUI で ChatGPT 風の体験。
  • Agents & Automation: n8n でワークフロー、Hermes Agent で自律タスク、OpenCode で AI コーディング。
  • Knowledge: Qdrant (ベクトルDB) と SearXNG で RAG とプライベートウェブ検索。
  • Creative: ComfyUI で画像生成。
  • Voice: Whisper (STT) と Kokoro (TTS)。

これは『Bootstrap Mode』と呼ばれる機能を備えており、最初に小さなモデルをダウンロードすることで、フルモデルがバックグラウンドでダウンロードされている間に、ユーザーは2分以内にチャットを開始できます。

対象者

CUDA ドライバーや Docker 設定の深い技術的専門知識が不要で、主権的でプライベートな AI ホームラボまたはワークステーションを望む個人、研究者、開発者。

ハイライト

  • One-Command Setup: Linux、macOS、Windows向けの自動ハードウェア検出とインストール。
  • Full-Stack Integration: ボックスから出してすぐに推論、RAG、エージェント、音声、画像生成をプリインテグレート。
  • Hardware Optimized: 幅広いハードウェア階層向けにカスタマイズされたモデル選択（8GB CPU フォールバックから 90GB+ VRAM まで）。
  • Extensible Architecture: サービスは拡張機能として扱われ、CLI を介してコンポーネントを簡単に追加または無効にできます。
  • Privacy-First: デフォルトで完全にローカルで実行され、データとプロンプトがユーザーのマシンに残ることを保証します。