gateway: 무엇인지, 어떤 문제를 해결하는지 & 왜 인기를 얻고 있는지

해결하는 문제

Portkey AI Gateway는 개발자가 단일화된 통합 API를 사용하여 45개 이상의 제공업체로부터 1,600개 이상의 언어, 비전, 오디오 및 이미지 모델을 통합할 수 있도록 하는 가벼운 오픈 소스 라우팅 레이어입니다. 모든 서로 다른 AI 제공업체에 대해 커스텀 통합 코드를 작성할 필요를 없애주며, 자동 재시도 및 폴백(fallback)과 같은 신뢰성 기능을 통해 애플리케이션 다운타임을 방지하는 데 도움을줍니다.

작동 방식

Gateway는 애플리케이션과 다양한 AI 제공업체 사이에서 프록시 역할을 합니다. OpenAI 호환 시그니처를 사용하여 Gateway에 요청을 보내면, Gateway는 정의된 구성에 따라 요청을을 지정된 제공업체로 라우팅합니다. 이러한 구성을 통해 애플리케이션 코드를 변경하지 않고도 라우팅 규칙, 신뢰성 설정 및 가드레일을 설정할 수 있습니다.

대상 사용자

높은 가용성을 유지하고, 여러 LLM 제공업체를 관리하며, AI 배포 전반에 걸쳐 보안 및 규정 준수를 보장해야 하는 AI 애플리케이션 구축 개발자 및 기업을 위해 설계되었습니다.

주요 특징

• 신뢰할 수 있는 라우팅: 지수 백오프(exponential backoff)를 포함한 자동 재시도, 실패 시 대체 모델로의 폴백, 여러 API 키 또는 제공업체 간의 로드 밸런싱을 포함합니다.
• 보안 및 정확성: 입출력을 검증하기 위한 내장 가드레일, 안전한 키 관리 및 역할 기반 액세스 제어(RBAC)를 제공합니다.
• 비용 관리: 비용과 지연 시간을 모니터링하기 위한 스마트 캐싱(단순 및 시맨틱 캐싱) 및 사용량 분석을 제공합니다.
• 멀티모달 지원: 비전, 오디오(TTS/STT) 및 이미지 생성 모델을 지원합니다.
• 에이전트 프레임워크 통합: Autogen, CrewAI, LangChain, LlamaIndex와 같은 프레임워크와 원활하게 통합됩니다.
• MCP Gateway: 인증 및 관찰성을 갖춘 Model Context Protocol (MCP) 서버를 관리하기 위한 중앙 집중식 제어 평면(control plane)입니다.