mnfst/manifest

解决的问题

Manifest 是一个开源的 LLM 网关，旨在防止 AI 代理和应用程序因供应商锁定或服务故障而中断。它提供了一个单一的 OpenAI 兼容端点，抽象了管理多个 API 密钥、订阅和本地模型的复杂性。

工作原理

用户将各种 AI 供应商（包括 API 密钥、ChatGPT Plus 或 Claude Pro 等订阅，以及 Ollama 或 LM Studio 等本地运行器）连接到 Manifest。网关随后将查询路由到适当的模型。通过发送包含 "model": "auto" 的请求，Manifest 会自动为查询选择最佳模型。

适用人群

适用于希望避免依赖单一 LLM 供应商，并需要可靠方式管理成本、日志和模型回退的 AI 代理和应用程序开发者。

主要亮点

• 广泛的供应商支持：通过 32 个内置供应商连接，支持超过 300 个模型，涵盖主要实验室和本地推理引擎。
• 可靠性功能：查询失败时自动切换到其他模型，并具备对错误请求的自我修复能力。
• 统一接口：提供 OpenAI 兼容端点，实现无缝集成。
• 可观测性：提供完整的请求体日志（包括成功和错误消息），并提供支出追踪、通知设置和限制配置工具。
• 灵活部署：支持通过 Docker 自行托管，或在 Railway、AWS、GCP、Render 等平台上一键部署。