QuantumNous/new-api

解決的問題

New API 是一個 LLM 網關與 AI 資產管理系統，旨在集中管理多個 AI 模型 API。它解決了 API 金鑰分散管理、處理不同模型格式，以及從單一介面追蹤 OpenAI、Claude、Gemini 等多個供應商的使用狀況與成本的問題。

工作原理

它作為使用者與各種 AI 模型供應商之間的代理層。能夠自動在不同 API 之間轉換請求格式（例如，將 OpenAI 相容請求轉換為 Google Gemini 或 Claude Messages 格式），並提供統一的認證與路由介面。系統包含一個管理控制台，用於設定通道、管理使用者配額，並實現智慧路由（如加權隨機選擇與失敗自動重試）。

適用對象

適用於需要管理多模型存取、實施組織級認證，並為內部或授權企業客戶追蹤詳細使用分析與成本會計的組織、開發者以及授權的 AI 服務供應商。

主要亮點

• 多模型支援：支援 OpenAI、Claude、Gemini、Azure、Midjourney-Proxy 和 Suno-API，涵蓋聊天、影像、音訊、影片與嵌入等專用介面。
• 格式轉換：支援在 OpenAI 相容、Claude Messages 與 Google Gemini 格式之間自動轉換。
• 使用量會計：支援內部加值與配額分配，整合 EPay 與 Stripe，並提供按請求的費用會計功能。
• 智慧路由：支援通道加權隨機路由、失敗自動重試與使用者層級限流。
• 企業級安全：支援透過 Discord、Telegram 與 LinuxDO 進行 OIDC 統一認證與授權登入。
• 推理努力控制：可為 OpenAI o3-mini 與 Gemini 模型設定推理努力（低、中、高），並可控制 Claude 3.7 Sonnet 的思考模式。