varunvasudeva1/llm-server-docs
End-to-end documentation to set up your own local & fully private LLM server on Debian. Equipped with chat, web search, RAG, model management, MCP servers, image generation, and TTS.
What it solves
이 프로젝트는 Debian Linux에서 개인용 로컬 LLM 서버를 설정하기 위한 포괄적인 엔드‑투‑엔드 가이드를 제공합니다. 추론 엔진, 채팅 인터페이스, 검색 도구와 같은 여러 AI 구성 요소를 조정하는 복잡성을 해결하고, 시스템이 안전하고 안정적이며 Linux에 익숙하지 않은 사용자도 유지 관리할 수 있도록 합니다.
How it works
가이드는 여러 오픈소스 도구를 통합한 모듈식 소프트웨어 스택을 단계별로 안내합니다:
- Inference: Ollama, llama.cpp 또는 vLLM을 사용해 모델을 실행합니다.
- Interface: 기본 채팅 플랫폼으로 Open WebUI를 사용합니다.
- Capabilities: 웹 검색에 SearXNG, 텍스트‑투‑스피치에 Kokoro FastAPI, 이미지 생성에 ComfyUI를 통합합니다.
- Infrastructure: 컨테이너화에 Docker, 리버스 프록시로 Caddy, 안전한 원격 접근을 위해 Tailscale을 사용합니다.
- System Optimization: 에너지 소비를 줄이기 위한 GPU 전력 제한 스크립트와
systemd를 이용한 서비스 관리를 포함합니다.
Who it’s for
자신만의 AI 인프라를 로컬에서 호스팅하고자 하는 개인을 위해 설계되었습니다. 특히 Debian(또는 유사한 Linux 배포판)을 사용하고 서버 관리가 처음인 사람들에게 적합합니다.
Highlights
- Full-Stack Integration: OS 설치와 GPU 드라이버부터 고수준 AI 애플리케이션까지 모두 다룹니다.
- Privacy-Focused: 데이터가 로컬 머신을 떠나지 않는 완전한 프라이버시 환경을 강조합니다.
- Modular Design: OpenAI 호환성 및 MCP와 같은 표준 프로토콜을 사용해 구성 요소를 쉽게 교체할 수 있습니다.
- Hardware Agnostic: Nvidia GPU, AMD GPU, CPU 전용 설정에 대한 지침을 제공합니다.
- Security-First: 방화벽 구성, Docker 네트워크 격리, VPN을 통한 안전한 원격 접근 단계를 포함합니다.