QuantumNous/new-api

New API – 셀프 호스팅 AI 게이트웨이

소개 – New API는 애플리케이션(또는 AI 에이전트)과 다양한 대규모 언어 모델 제공업체 사이에 위치하는 오픈 소스 셀프 호스팅 게이트웨이입니다. 단일하고 일관된 OpenAI 호환 HTTP API를 제공하며 라우팅, 사용량 추적, 액세스 제어, 가격 책정 및 멀티 모델 관리를 처리합니다.

주요 기능

• 멀티 제공업체 지원 – OpenAI, Anthropic, Google Gemini, Azure OpenAI, AWS Bedrock, Vertex AI, DeepSeek, Qwen 등 업스트림 서비스 연결.
• 통합 엔드포인트 – 익숙한 OpenAI 스타일 경로(/v1/chat/completions, /v1/messages, /v1/embeddings, 이미지/오디오 생성, WebSocket 실시간 통신 등)와 플러그인 작업 시스템 제공.
• 라우팅 및 장애 조치 – 채널 우선순위, 가중치, 재시도 및 친화성을 정의하여 자동으로 제공업체를 균형 조정하거나 전환.
• 사용량 및 비용 정산 – 토큰 사용량, 캐시 정산, 할당량, 구독 및 표현식 기반의 계층별 가격 책정 추적.
• 세밀한 액세스 제어 – 사용자, 그룹, API 키 범위, OAuth/OIDC, passkeys, 2FA 및 세션 관리 지원.
• 확장 가능한 작업 플러그인 – JavaScript 플러그인을 통해 사용자 지정 비동기 작업(예: 이미지 처리, 비디오 생성)을 추가하고 상태 엔드포인트 제공.
• 웹 콘솔 – 모델 구성, 대시보드 보기, 사용자 관리 및 API 테스트를 위한 React 기반 다국어 UI.

시작하기

1. Docker로 실행 – 단일 명령어로 New API를 실행하고 SQLite 저장소를 사용합니다.

   mkdir -p data
   docker run --name new-api -d --restart unless-stopped \
     -p 127.0.0.1:3000:3000 \
     -e TZ=Asia/Shanghai \
     -v "$(pwd)/data:/data" calciumion/new-api:latest
   

2. http://localhost:3000에 접속하여 설정 마법사를 실행하고, 업스트림 채널(예: OpenAI 키)을 추가한 뒤 API 키를 생성합니다.
3. 클라이언트를 http://localhost:3000/v1으로 지정하고, 발급받은 키를 사용하여 원래 제공업체와 동일하게 사용합니다.

배포 옵션

• Docker-Compose – 프로덕션급 지속성 및 속도 제한을 위해 PostgreSQL + Redis(또는 MySQL/ClickHouse) 포함.
• 구성 가능한 저장소 – SQLite, MySQL, PostgreSQL, 선택적 별도 로그 DB, Redis 캐시 지원.
• 환경 변수 – DB 연결, 보안 키, 쿠키 보안, 신뢰할 수 있는 프록시 등을 제어.
• 멀티 노드 설정 시 메인 DB와 보안 키를 공유하며, Redis를 사용하여 속도 제한을 공유할 수 있습니다.

개발

• 백엔드: Go + Gin 프레임워크.
• 프론트엔드: React 19, TypeScript, Tailwind 4 (Bun으로 빌드).
• relaykit – 4가지 주요 텍스트 프로토콜을 정규화하는 Go 모듈.
• 플러그인은 plugins/tasks/에 위치하며, Task Plugin API v1에 따라 JavaScript 플러그인을 작성합니다.
• 빌드 단계: UI는 bun install && bun run build, 서버는 go run .을 사용하거나 제공된 make dev 워크플로우를 사용합니다.

문서 및 커뮤니티

• 전체 문서: https://docs.newapi.ai/en/docs (설치, API 참조, 가이드).
• GitHub의 커뮤니티 FAQ, 토론 및 이슈 트래커.
• 번역, 새로운 제공업체 어댑터, 테스트 및 플러그인 기여를 환영합니다.

라이선스 – AGPL-v3 (추가적인 저작자 표시 요구 사항 포함).

---

요약하자면, New API는 팀이 자체적인 "원스톱 숍" LLM 액세스를 호스팅할 수 있게 해주며, 익숙한 OpenAI 스타일 API를 유지하면서 비용, 보안 및 제공업체 선택을 제어할 수 있도록 합니다.