Portkey-AI/gateway

A blazing fast AI Gateway with integrated guardrails. Route to 1,600+ LLMs, 50+ AI Guardrails with 1 fast & friendly API.

What it solves

Portkey AI Gateway는 가볍고 오픈소스인 라우팅 레이어로, 개발자가 45개 이상의 공급업체가 제공하는 1,600개 이상의 언어, 비전, 오디오 및 이미지 모델을 단일 통합 API로 통합할 수 있게 해줍니다. 각 AI 공급업체마다 맞춤형 통합 코드를 작성할 필요가 없으며, 자동 재시도와 폴백 같은 신뢰성 기능을 통해 애플리케이션 다운타임을 방지합니다.

How it works

게이트웨이는 애플리케이션과 다양한 AI 공급업체 사이의 프록시 역할을 합니다. OpenAI 호환 서명을 사용해 게이트웨이에 요청을 보내면, 정의된 구성에 따라 지정된 공급업체로 라우팅됩니다. 이러한 구성은 애플리케이션 코드를 변경하지 않고도 라우팅 규칙, 신뢰성 설정 및 가드레일을 설정할 수 있게 해줍니다.

Who it’s for

고가용성을 유지하고 여러 LLM 공급업체를 관리하며 AI 배포 전반에 걸쳐 보안 및 규정 준수를 보장해야 하는 개발자와 기업을 위해 설계되었습니다.

Highlights

  • Reliable Routing: 지수 백오프를 포함한 자동 재시도, 실패 시 대체 모델로의 폴백, 여러 API 키 또는 공급업체 간 로드 밸런싱을 지원합니다.
  • Security & Accuracy: 입력 및 출력 검증, 보안 키 관리, 역할 기반 접근 제어를 제공하는 내장 가드레일을 제공합니다.
  • Cost Management: 단순 및 의미 기반 캐시와 사용량 분석을 통해 비용과 지연 시간을 모니터링합니다.
  • Multi-modal Support: 비전, 오디오(TTS/STT), 이미지 생성 모델을 지원합니다.
  • Agent Framework Integration: Autogen, CrewAI, LangChain, LlamaIndex와 원활하게 통합됩니다.
  • MCP Gateway: Model Context Protocol(MCP) 서버를 인증 및 관측 가능하게 관리하는 중앙 제어 플레인을 제공합니다.