labring/aiproxy

解决的问题

AI Proxy 作为客户端应用程序与各种 AI 提供商之间的生产级网关（中间件）。它通过提供单一、与 OpenAI 兼容的入口点来处理路由、监控、多租户和协议转换，从而简化了管理多个 AI API 的复杂性，减少了客户端实现特定提供商逻辑的需求。

运作方式

它拦截来自客户端的请求，并将其传递给包含身份验证、智能路由器和插件系统的流水线，然后再转发给 OpenAI、Anthropic 或 Gemini 等提供商。它可以自动转换协议（例如将 Claude 请求转换为 OpenAI 格式），并使用管理面板进行配置和分析。它还与 Model Context Protocol (MCP) 集成，以通过外部工具扩展 AI 能力。

适用对象

专为开发人员和组织设计，适用于需要高可靠性、可扩展性，以及在统一界面下管理多个 AI 模型和租户的 AI 应用程序。

特色亮点

• 智能路由：具备智能重试逻辑、负载均衡和基于优先级的通道选择。
• 协议转换：无缝转换 OpenAI、Claude 和 Gemini 协议。
• 多租户管理：提供组织隔离、基于 Token 的访问控制以及各组的资源配额 (RPM/TPM)。
• 可扩展的插件系统：包含用于缓存 (Redis/内存)、网络搜索 (Google, Bing, Arxiv) 和推理模型支持（拆分 <think> 标签）的内置插件。
• MCP 支持：集成公开、私有和嵌入式 MCP 服务器，包括自动 OpenAPI 转 MCP 转换。
• 全面监控：提供实时警报、详细审计日志和成本分析。