QuantumNous/new-api

解决的问题

New API 是一个 LLM 网关和 AI 资产管理系统，旨在集中管理多个 AI 模型 API。它解决了 API 密钥分散管理、处理不同模型格式、以及从单一界面追踪 OpenAI、Claude、Gemini 等多个提供商的使用情况和成本的问题。

工作原理

它作为用户与各种 AI 模型提供商之间的代理层。能够自动在不同 API 之间转换请求格式（例如，将 OpenAI 兼容请求转换为 Google Gemini 或 Claude Messages 格式），并提供统一的认证和路由接口。系统包含一个管理控制台，用于设置通道、管理用户配额，并实现智能路由（如加权随机选择和失败自动重试）。

适用对象

适用于需要管理多模型访问、实施组织级认证，并为内部或授权企业客户追踪详细使用分析和成本会计的组织、开发者以及授权的 AI 服务提供商。

主要亮点

• 多模型支持：支持 OpenAI、Claude、Gemini、Azure、Midjourney-Proxy 和 Suno-API，涵盖聊天、图像、音频、视频和嵌入等专用接口。
• 格式转换：支持在 OpenAI 兼容、Claude Messages 和 Google Gemini 格式之间自动转换。
• 使用量会计：支持内部充值和配额分配，集成 EPay 和 Stripe，并提供按请求的费用会计功能。
• 智能路由：支持通道加权随机路由、失败自动重试和用户级限流。
• 企业级安全：支持通过 Discord、Telegram 和 LinuxDO 进行 OIDC 统一认证和授权登录。
• 推理努力控制：可为 OpenAI o3-mini 和 Gemini 模型配置推理努力（低、中、高），并可控制 Claude 3.7 Sonnet 的思考模式。