labring/aiproxy

它解決的問題

AI Proxy 是一個可投入生產環境使用的 AI 網關，作為客戶端應用程式與各種 AI 提供商（如 OpenAI、Anthropic 和 Gemini）之間的中介層。它透過提供單一、統一的介面來處理路由、監控與存取控制，解決了在生產環境中管理多個 AI API 的問題，從而無需在每個應用程式中處理特定提供者的邏輯。

如何運作

此網關使用 OpenAI 兼容協定接收請求，並根據可設定的規則將請求路由至適當的 AI 提供商。它包含一個外掛系統以擴展功能，以及一個管理介面用於設定。主要機制包括：

• 協定轉換：將請求在 OpenAI、Claude 和 Gemini 格式之間進行轉換。
• 智慧路由：使用基於優先順序的通道選擇與負載平衡來分配流量。
• 多租戶架構：透過特定的資源配額（RPM/TPM）與自訂定價，隔離各組織。
• MCP 支援：整合 Model Context Protocol 伺服器，透過公開、私人或自動產生的工具（來自 OpenAPI 規格）來擴展 AI 功能。

適用對象

• 開發人員：正在開發 AI 應用程式，需要統一的 API 來整合多個提供者。
• DevOps/平台工程師：負責管理團隊或組織的 AI 基礎設施，需要監控、計費與配額管理功能。
• 企業團隊：需要安全、多租戶的 LLM 存取權限，並具備稽核記錄與子網路限制。

主要特色

• 智慧請求管理：具備自動重試邏輯與跨提供者的負載平衡功能。
• 全面監控：即時警報平衡與錯誤率，並提供詳細的請求/回應稽核追蹤。
• 外掛生態系統：內建 Redis/記憶體快取、即時網路搜尋（Google、Bing、Arxiv）以及處理推理模型 </tool_call> 標籤的外掛。
• 協定彈性：支援多格式處理（文字、影像、音訊、文件），並對僅回應模型提供透明的協定轉換。
• 內建分詞器：無需外部 tiktoken 套件即可運作。