QuantumNous/new-api

해결하는 문제

New API는 여러 AI 모델 API의 관리를 통합하기 위한 LLM 게이트웨이 및 AI 자산 관리 시스템입니다. 분산된 API 키 관리, 다양한 모델 형식 처리, 그리고 OpenAI, Claude, Gemini 등 다양한 제공업체 간의 사용량과 비용 추적을 단일 인터페이스에서 해결합니다.

작동 방식

사용자와 다양한 AI 모델 제공업체 사이의 프록시 계층으로 작동합니다. 예를 들어 OpenAI 호환 요청을 Google Gemini 또는 Claude Messages 형식으로 자동 변환하고, 인증 및 라우팅을 위한 통합 인터페이스를 제공합니다. 채널 설정, 사용자 할당량 관리, 지능형 라우팅(가중 무작위 선택 및 실패 시 자동 재시도 등)을 구현할 수 있는 관리 콘솔이 포함되어 있습니다.

대상 사용자

다중 모델 접근을 관리하고 조직 수준의 인증을 구현하며, 내부 또는 인증된 기업 고객을 위한 상세한 사용 분석 및 비용 회계를 추적해야 하는 조직, 개발자, 인증된 AI 서비스 제공업체를 위한 것입니다.

주요 기능

• 다중 모델 지원: OpenAI, Claude, Gemini, Azure, Midjourney-Proxy, Suno-API를 지원하며, 채팅, 이미지, 오디오, 비디오, 임베딩 전용 인터페이스를 제공합니다.
• 포맷 변환: OpenAI 호환, Claude Messages, Google Gemini 형식 간 자동 변환을 지원합니다.
• 사용량 회계: 내부 충전 및 할당량 할당을 지원하며, EPay 및 Stripe와 연동하고 요청 단위 비용 회계를 제공합니다.
• 지능형 라우팅: 채널 가중 무작위 라우팅, 실패 시 자동 재시도, 사용자 수준의 속도 제한 기능을 제공합니다.
• 엔터프라이즈 보안: Discord, Telegram, LinuxDO를 통한 OIDC 통합 인증 및 권한 부여 로그인을 지원합니다.
• 추론 노력 제어: OpenAI o3-mini 및 Gemini 모델에 대해 추론 노력(낮음, 중간, 높음)을 설정할 수 있으며, Claude 3.7 Sonnet의 사고 모드를 제어할 수 있습니다.