mnfst/llm-gateway

它解决了什么问题

Manifest 提供了一个统一的、与 OpenAI 兼容的端点，供 AI Agent 和应用程序使用，消除了提供商锁定。它解决了在不同提供商之间管理多个 API 密钥、订阅和本地模型的问题，同时通过自动故障转移和针对失败请求的自我修复功能确保了可靠性。

工作原理

它作为一个网关层，通过 35 个内置的提供商连接连接到 300 多个模型（包括 OpenAI、Anthropic、Google 以及像 Ollama 这样的本地运行器）。用户可以使用 "model": "auto" 向单个端点发送查询，Manifest 会根据自定义路由规则将请求路由到合适的模型。它还会记录完整的请求/响应体用于日志记录，并跟踪支出和限制。

适用人群

需要无缝切换不同 LLM 提供商、管理多个订阅的成本，或将本地模型集成到生产工作流中的 AI Agent 和应用开发者。

亮点

• 统一端点：将各种 API 密钥、订阅和本地模型连接到一个 OpenAI 兼容的 API。
• 广泛的提供商支持：集成 35 个提供商的 300 多个模型，包括主要实验室和 llama.cpp、LM Studio 等本地工具。
• 可靠性工具：当查询失败时自动故障转移到不同模型，并具备针对错误请求的自我修复能力。
• 成本管理：实时跟踪支出并允许设置通知和限制。
• 灵活部署：支持 Docker、云平台（Railway、Render、AWS、GCP）和本地托管。