labring/aiproxy

해결하는 문제

AI Proxy는 클라이언트 애플리케이션과 다양한 AI 공급자 사이에서 프로덕션급 게이트웨이(미들웨어) 역할을 합니다. OpenAI와 호환되는 단일 진입점을 제공하여 라우팅, 모니터링, 멀티 테넌시 및 프로토콜 변환을 처리함으로써 여러 AI API를 관리하는 복잡성을 해결하고, 클라이언트가 공급자별 로직을 구현해야 하는 부담을 줄여줍니다.

작동 방식

클라이언트로부터의 요청을 가로채어 인증, 지능형 라우터, 플러그인 시스템으로 구성된 파이프라인을 통과시킨 후 OpenAI, Anthropic, Gemini와 같은 공급자에게 전달합니다. 프로토콜을 자동으로 변환(예: Claude 요청을 OpenAI 형식으로 변환)할 수 있으며, 관리 패널을 통해 설정 및 분석이 가능합니다. 또한 Model Context Protocol (MCP)과 통합되어 외부 도구를 통해 AI 기능을 확장할 수 있습니다.

대상 사용자

높은 신뢰성과 확장성이 필요하며, 통합된 인터페이스 하에서 여러 AI 모델과 테넌트를 관리해야 하는 AI 애플리케이션을 구축하는 개발자 및 조직을 위해 설계되었습니다.

주요 특징

• 지능형 라우팅: 스마트 재시도 로직, 로드 밸런싱 및 우선순위 기반 채널 선택 기능을 제공합니다.
• 프로토콜 변환: OpenAI, Claude, Gemini 프로토콜 간의 원활한 변환을 지원합니다.
• 멀티 테넌트 관리: 조직 격리, 토큰 기반 액세스 제어 및 그룹별 리소스 할당량(RPM/TPM)을 제공합니다.
• 확장 가능한 플러그인 시스템: 캐싱(Redis/메모리), 웹 검색(Google, Bing, Arxiv) 및 추론 모델 지원(<think> 태그 분할)을 위한 내장 플러그인이 포함되어 있습니다.
• MCP 지원: 공개, 비공개 및 임베디드 MCP 서버를 통합하며, 자동 OpenAPI-to-MCP 변환을 지원합니다.
• 포괄적인 모니터링: 실시간 알림, 상세 감사 로그 및 비용 분석을 제공합니다.