ENTERPILOT/GoModel

AI gateway written in Go. Lightweight unified OpenAI-compatible API for OpenAI, Anthropic, Gemini, Groq, xAI & Ollama. LiteLLM alternative with observability, guardrails, streaming, costs and usage tracking.

해결하는 문제

GoModel은 여러 LLM 제공업체의 관리를 단순화하도록 설계된 고성능 AI 게이트웨이입니다. 다양한 AI 모델에 대해 단일 통합 엔드포인트를 제공함으로써 벤더 종속성 및 운영 오버헤드 문제를 해결하는 동시에, 캐싱 및 지능형 라우팅을 통해 비용을 절감합니다.

작동 방식

애플리케이션과 다양한 LLM 제공업체(OpenAI, Anthropic, Google Gemini 등) 사이에서 프록시 계층 역할을 합니다. OpenAI 호환 및 Anthropic 호환 API를 노출하여 개발자가 코드를 다시 작성하지 않고도 기본 URL을 변경함으로써 제공업체를 전환할 수 있도록 합니다. 게이트웨이는 인증, 라우팅 및 모니터링을 중앙에서 처리합니다.

대상

여러 AI 모델을 사용하며 지출 추적, 속도 제한 적용 및 장애 조치 메커니즘을 통한 신뢰성 확보를 위한 중앙 집중식 방법이 필요한 개발자 및 조직을 위해 구축되었습니다.

주요 특징

통합 API: OpenAI 및 Anthropic SDK 호환성을 통해 광범위한 제공업체를 지원합니다.
비용 최적화: 정확한 캐싱 및 시맨틱 캐싱, 프롬프트 압축, 하드 예산 제한이 포함된 지출 추적을 포함합니다.
신뢰성: 백업 제공업체로의 자동 장애 조치, 재시도 및 서킷 브레이커 기능을 제공합니다.
관리 도구: 사용량 분석, 관측성 및 부하 분산을 위한 "가상 모델" 생성 기능을 위한 대시보드를 제공합니다.
고급 제어: 속도 제한, 요청 가드레일 및 키별 제한을 우회하기 위한 제공업체 키 로테이션을 제공합니다.