varunvasudeva1/llm-server-docs

End-to-end documentation to set up your own local & fully private LLM server on Debian. Equipped with chat, web search, RAG, model management, MCP servers, image generation, and TTS.

What it solves

このプロジェクトは、Debian Linux 上にプライベートでローカルな LLM サーバーを構築するための包括的なエンドツーエンドガイドを提供します。推論エンジン、チャットインターフェース、検索ツールなど複数の AI コンポーネントを調整する複雑さに対処し、システムが安全で安定し、Linux に不慣れなユーザーでも保守しやすいようにします。

How it works

ガイドは、いくつかのオープンソースツールを統合したモジュラーソフトウェアスタックを段階的に案内します:

Inference: Ollama、llama.cpp、または vLLM を使用してモデルを実行します。
Interface: 主なチャットプラットフォームとして Open WebUI を利用します。
Capabilities: Web 検索に SearXNG、テキスト‑トゥ‑スピーチに Kokoro FastAPI、画像生成に ComfyUI を統合します。
Infrastructure: コンテナ化に Docker、リバースプロキシに Caddy、リモートアクセスのセキュリティに Tailscale を使用します。
System Optimization: エネルギー消費を抑える GPU 電力制限スクリプトと systemd によるサービス管理を含みます。

Who it’s for

ローカルで自分の AI インフラをホストしたい個人向けに設計されています。特に Debian（または類似の Linux ディストリビューション）を使用している方や、サーバー管理が初めての方に適しています。

Highlights

Full-Stack Integration: OS のインストールから GPU ドライバ、ハイレベルな AI アプリケーションまで網羅します。
Privacy-Focused: データがローカルマシンから外部に出ない完全プライベートな構成を強調します。
Modular Design: OpenAI 互換性や MCP などの標準プロトコルを使用し、コンポーネントの入れ替えが容易です。
Hardware Agnostic: Nvidia GPU、AMD GPU、CPU のみの環境向けの手順を提供します。
Security-First: ファイアウォール設定、Docker ネットワーク分離、VPN を用いた安全なリモートアクセスの手順を含みます。