ParisNeo/lollms-webui

LoLLMs WebUI – 用于大型语言模型的本地、多模型、多模态界面

它是什么

• 一个开源的基于 Web 的前端，允许单个用户（或通过较新的 MCP 模式支持多个用户）在自己的机器上运行并与许多不同的 LLM 和多模态生成器交互。
• 它构建在核心 lollms 库（“大型语言多模态系统之主”）之上，并添加了图形界面、路由逻辑以及针对各种模型后端的插件式绑定。

主要功能

• 模型无关：支持本地 Hugging Face 模型、GGUF/GGML、EXLLama v2、Ollama、llmman、vllm、OpenAI、Anthropic、OpenRouter、Novita-AI 等。
• 多模态支持：图像生成（Stable Diffusion、Flux、DALL-E、Midjourney 等）、视频生成（CogVideo、RunwayML 等）和音乐生成（MusicGen）。
• 智能路由：根据用户定义的层次结构自动选择模型，以平衡成本和速度，因此简单提示由廉价模型处理，而更大、更昂贵的模型仅在需要时调用。
• 个性系统：预构建的“代理”（例如，律师、医疗助理、创意故事生成器、笑声机器人、ArtBot、LordOfMusic）加载特定的提示模板，并可随时切换。
• 协作功能：对响应进行评分、编辑、复制、删除，并将对话持久化到本地 SQLite 风格的数据库中；支持搜索、导出和批量删除聊天记录。
• 部署选项：可直接从 Python 虚拟环境、Docker 或 Conda 中运行；还支持无头 API 模式，用于远程编程访问。
• 界面细节：浅色/深色主题、简单的模型绑定选择，以及与 GitHub 集成以快速下载模型。

如何运行

1. 先决条件 – 已安装 Python 3.11。
2. 克隆带有子模块的仓库：

   git clone --recursive https://github.com/ParisNeo/lollms-webui.git
   cd lollms-webui
   

3. 创建虚拟环境并激活它：

   python -m venv venv
   # Windows
   .\venv\Scripts\activate
   # Linux/macOS
   source venv/bin/activate
   

4. 安装 Python 依赖：

   pip install --upgrade pip
   pip install -r requirements.txt
   pip install -e lollms_core
   

5. 配置路径（核心库和个人数据所在位置），按照 README 中的说明创建 global_paths_cfg.yaml。
6. 添加您需要的模型绑定 – 每个绑定都有一个小的安装脚本，例如：

   python zoos/bindings_zoo/ollama_ai/__init__.py   # 安装 Ollama 支持
   

   （其他绑定：openai、huggingface、exllamav2、vllm、litellm 等。）
7. 启动服务器：

   python app.py
   

   界面可通过 http://localhost:9600（默认端口）访问。

可选的生产就绪设置

• Docker：docker build -t lollms-webui-app . 然后 docker run -d -p 9600:9600 lollms-webui-app。
• 无头模式用于仅 API 访问 – 编辑 configs/local_config.yaml 并设置 headless_server_mode: true。

安全与许可

• 该项目根据 Apache 2.0 许可证发布。
• 简短的行为准则警告不要将该工具用于错误信息或非法活动，并提醒用户生成输出不能替代专业建议。
• 安全说明：界面没有内置身份验证；将其暴露到互联网需要隧道或额外的加固。

谁可能使用它

• 研究人员或爱好者，希望在一个仪表板中试验多种 LLM 后端，而无需编写自定义胶水代码。
• 开发人员构建本地 AI 增强应用程序，需要一个快速界面来原型化提示、测试多模态生成或演示“个性”代理。
• 教育工作者或学生，希望在个人电脑上获得一个集文本、图像、视频和音乐生成于一体的游乐场。

---

以上所有信息均直接取自仓库的 README；未添加任何外部假设。