open-webui/open-webui

User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

What it solves

Open WebUI 提供一個自託管、使用者友善的介面，用於與大型語言模型（LLM）互動。它透過提供一個集中式平台，讓使用者不必進行複雜的設定，即可完全離線運作，支援本地模型執行器（如 Ollama）與雲端 OpenAI 相容 API。

How it works

它充當功能豐富的前端與編排層，連接各種 LLM 供應商（例如 vLLM、GroqCloud、Mistral）。內建檢索增強生成（RAG）推論引擎，允許使用者將本地文件或網路搜尋結果注入對話。平台可透過外掛（Filters、Actions、Pipes、Tools）擴充，並支援多種向量資料庫作為永久記憶與文件儲存。

Who it’s for

此平台設計給想要私密、安全、可自訂 AI 介面的個人與團隊，能自行部署於自有基礎設施，從使用本地 GPU 的 hobbyist 到需要 RBAC、SSO 與 LDAP 整合的企業皆適用。

Highlights

  • Broad Integration: Supports Ollama and any OpenAI-compatible API.
  • Local RAG: Built-in support for 9 vector databases and multiple content-extraction engines for document-based AI.
  • Agentic Capabilities: Ability to wrap base models with custom instructions and tools to create specialized agents.
  • Enterprise Ready: Includes granular Role-Based Access Control (RBAC), SSO, and horizontal scalability via Redis.
  • Multimodal Support: Integrated image generation (DALL‑E, ComfyUI, AUTOMATIC1111) and voice/video calling with various STT/TTS providers.
  • Extensibility: Plugin system for custom tools, skills, and external service connections via MCP.