Mintplex-Labs/anything-llm

AnythingLLM – 一体化自托管 AI 聊天平台

它是什么 – AnythingLLM 是一款自托管的 Web 应用，可让您运行一个私有的 ChatGPT 风格助手。它集成了 React 前端、Node/Express 后端、文档摄取管道以及一组可选的 Docker 镜像，因此您可以在自己的硬件或云上快速启动一个功能齐全的 LLM 驱动的聊天服务。

主要功能

• 与您自己的数据聊天 – 拖放 PDF、Word 文档、txt 文件等。应用使用向量存储对它们进行索引，并在对话期间检索相关段落，显示引用。
• 多模型支持 – 连接任何可与 llama.cpp（本地模型）配合使用的 LLM，或连接数十个托管提供商（OpenAI、Anthropic、Azure、Gemini、Ollama、Bedrock 等）。您还可以运行由 Lemonade + llama.cpp 驱动的内置本地引擎。
• 动态模型路由 – 定义规则，自动为给定请求选择最佳提供商/模型。
• AI 代理与工作流 – 无代码代理构建器、定时 cron 任务，以及“智能工具选择”，让 LLM 调用外部工具（网页浏览、自定义 API），同时保持较低的 token 使用量。
• 多用户与权限 – Docker 部署支持多用户，并具有按用户访问控制。
• 可嵌入聊天小部件 – 导出一个小部件，可放入任何网站。
• 音频与语音 – 通过浏览器 API 或外部服务（如 OpenAI 和 ElevenLabs）内置转录（STT）和文本转语音（TTS）。
• 可插拔向量数据库 – 默认使用 LanceDB，但您可以替换为 PGVector、Pinecone、Chroma、Weaviate、Qdrant、Milvus、Astra DB 等。
• 遥测（可选退出） – 向 PostHog 发送匿名使用事件；可通过 DISABLE_TELEMETRY=true 禁用。

如何运行

• Docker – 一键部署按钮，适用于 Docker、Railway、Render、AWS、GCP、DigitalOcean 等。
• 裸机 – 在任何 Linux/Unix 机器上手动设置的说明。
• 桌面 – 适用于 macOS、Windows、Linux 的预构建二进制文件。
• 移动端 – 在单独仓库中提供开源 Android 客户端。

典型工作流

1. 安装（Docker 或桌面）。
2. 添加您的 LLM 凭据或启用本地引擎。
3. 上传文档；收集器解析它们并将嵌入存储到所选向量数据库中。
4. 打开 Web UI，开始聊天 – 系统检索相关块，可选运行代理，并返回响应。
5. （可选）创建定时任务或自定义代理以实现自动化。

适用对象 – 需要私有、可定制聊天界面的团队或个人，该界面可以推理专有文档、为数据敏感用例运行本地模型，或无需编写代码即可试验 AI 代理。

许可证 – MIT（开源）。