ENTERPILOT/GoModel

해결하는 문제

GoModel은 여러 LLM 제공업체를 관리하는 것을 간소화하기 위해 설계된 AI 게이트웨이입니다. 제공업체 종속성, 예측 불가능한 비용, AI 애플리케이션에 대한 중앙 집중식 관찰성 부족이라는 문제를 해결합니다. 다양한 AI 모델과 상호작용하기 위한 통합 인터페이스를 제공하며, 비용 절감과 신뢰성 향상을 위한 도구도 제공합니다.

작동 방식

GoModel은 애플리케이션과 다양한 AI 제공업체(OpenAI, Anthropic, Google Gemini 등) 사이의 프록시 계층으로 작동합니다. OpenAI 호환 또는 Anthropic 호환 형식의 요청을 수신하여 대상 제공업체로 라우팅합니다. 관리용 대시보드를 포함하며, .env 파일, config.yaml, 또는 관리 인터페이스를 통해 구성할 수 있습니다.

대상 사용자

여러 LLM 제공업체를 관리하고, 지출을 추적하며, 페일오버 및 로드 밸런싱을 통해 고가용성을 확보해야 하는 개발자 및 팀.

주요 기능

• 통합 API: OpenAI, Anthropic, xAI, Google Gemini 등 다양한 제공업체를 지원하며 공식 SDK와 호환됩니다.
• 비용 및 예산 관리: 요청별 비용 추정, 사용 분석, 사용자, 팀 또는 키별 하드한 지출 한도 기능.
• 캐시: 정확한 응답 캐시와 의미 기반 응답 캐시를 지원하여 비용과 반복적인 프롬프트 비용을 줄입니다.
• 신뢰성 도구: 백업 제공업체로의 자동 페일오버, 재시도, 회로 차단기, 제공업체 키 자동 회전 기능 포함.
• 관찰성: 중앙 대시보드를 통해 Prometheus 메트릭, OpenTelemetry 트레이스, 감사 로그 제공.
• 고급 라우팅: 로드 밸런싱용 가상 모델과 요청의 난이도에 따라 분류하여 가장 저렴하고 건강한 제공업체를 선택하는 지능형 라우팅(Pro 버전).
• 확장성: 가드레일, 응답 필터, 라우팅 전략용 플러그인을 지원.