Mirrowel/LLM-API-Key-Proxy

해결하는 문제

이 프로젝트는 여러 LLM 제공업체(Gemini, OpenAI, Anthropic 등)를 하나의 표준화된 API 엔드포인트를 통해 접근할 수 있는 유니버설 프록시를 제공합니다. 기존 애플리케이션의 코드를 변경할 필요 없이 OpenAI 및 Anthropic 호환 엔드포인트를 제공함으로써 API 키 관리, 레이트 제한, 제공업체 장애 대응 문제를 해결합니다.

작동 방식

시스템은 두 가지 주요 구성 요소로 구성됩니다: FastAPI 기반 API 프록시와 리지لي언스 라이브러리. 프록시는 provider/model_name 형식에 따라 요청을 적절한 백엔드 제공업체로 라우팅하는 게이트웨이 역할을 합니다. 리지리언스 라이브러리를 사용하여 지능적인 API 키 회전, 로드 밸런싱, 그리고 키가 오류나 레이트 제한에 걸릴 경우 자동으로 장애 대응을 처리합니다.

대상 사용자

Claude Code, Cursor, Continue와 같은 다양한 도구에서 여러 LLM 제공업체를 사용하는 개발자 및 고급 사용자로, 애플리케이션 코드를 수정하지 않고도 자격 증명을 중앙에서 관리하고, 고가용성 보장을 하며, 벤더 종속성에서 벗어나고자 하는 사람들을 위한 것입니다.

주요 특징

• 유니버설 호환성: 사용자 정의 OpenAI 또는 Anthropic 기본 URL을 허용하는 모든 애플리케이션과 호환됩니다.
• 내장된 회복성: 자동 키 회전, 실패한 키에 대한 점진적 쿨다운, 지능적인 장애 대응 기능을 제공합니다.
• 다중 제공업체 지원: Gemini, OpenAI, Anthropic 및 LiteLLM가 지원하는 모든 제공업체와 통합 가능하며, Gemini CLI 전용 지원도 제공합니다.
• 인터랙티브 TUI: API 키, OAuth 자격 증명, 서버 설정을 관리할 수 있는 텍스트 기반 사용자 인터페이스를 포함합니다.
• 고급 트래픽 제어: 세밀한 동시성 제한, 모델 화이트리스트/블랙리스트, 우선순위 기반 자격 증명 선택 기능을 제공합니다.