labring/aiproxy

해결하는 문제

AI Proxy는 OpenAI, Anthropic, Gemini 등 다양한 AI 제공업체와 클라이언트 애플리케이션 사이의 미들웨어 역할을 하는 프로덕션 준비 완료된 AI 게이트웨이입니다. 여러 AI API를 프로덕션 환경에서 관리하는 문제를 해결하기 위해 라우팅, 모니터링, 접근 제어를 위한 단일 통합 인터페이스를 제공하여 각 애플리케이션에서 제공업체별 로직을 직접 처리할 필요 없도록 합니다.

작동 방식

게이트웨이는 OpenAI 호환 프로토콜을 사용하여 요청을 수신하고, 구성 가능한 규칙에 따라 적절한 AI 제공업체로 요청을 라우팅합니다. 기능을 확장하기 위한 플러그인 시스템과 구성용 관리 패널을 포함하고 있습니다. 주요 기능은 다음과 같습니다:

• 프로토콜 변환: OpenAI, Claude, Gemini 형식 간 요청을 변환합니다.
• 지능형 라우팅: 우선순위 기반 채널 선택과 로드 밸런싱을 사용하여 트래픽을 분산합니다.
• 다중 테넌트 아키텍처: 특정 리소스 할당량(RPM/TPM)과 맞춤형 가격 정책을 통해 조직 간 격리를 지원합니다.
• MCP 지원: OpenAPI 사양에서 공개, 비공개 또는 자동 생성된 도구를 통해 AI 기능을 확장하는 Model Context Protocol 서버를 통합합니다.

대상 사용자

• 여러 제공업체를 사용하는 AI 애플리케이션을 개발하는 개발자
• 팀이나 조직의 AI 인프라를 관리하며 모니터링, 청구, 할당량 관리가 필요한 DevOps/플랫폼 엔지니어
• 감사 로그와 서브넷 제한 기능을 포함한 보안성 높은 다중 테넌트 LLM 접근이 필요한 기업 팀

주요 특징

• 스마트 요청 관리: 자동 재시도 로직과 제공업체 간 로드 밸런싱 기능을 제공합니다.
• 포괄적인 모니터링: 잔고 및 오류율에 대한 실시간 알림과 요청/응답에 대한 상세한 감사 기록을 제공합니다.
• 플러그인 생태계: Redis/메모리 캐싱, 실시간 웹 검색(Google, Bing, Arxiv), 추론 모델 </tool_call> 태그 처리를 위한 내장 플러그인을 포함합니다.
• 프로토콜 유연성: 텍스트, 이미지, 오디오, 문서 등 다양한 형식 처리를 지원하며, 응답 전용 모델에 대해 프로토콜 변환을 투명하게 처리합니다.
• 내장 토크나이저: 외부 tiktoken 종속성 없이 작동합니다.