mnfst/llm-gateway

해결하는 문제

Manifest는 AI 에이전트와 애플리케이션을 위해 통합된 OpenAI 호환 엔드포인트를 제공하여 제공업체 종속(lock-in)을 제거합니다. 여러 제공업체에 걸쳐 다양한 API 키, 구독 및 로컬 모델을 관리하는 문제를 해결하는 동시에, 자동 폴백 및 실패한 요청에 대한 셀프 힐링 기능을 통해 신뢰성을 보장합니다.

작동 방식

35개의 내장된 제공업체 연결(OpenAI, Anthropic, Google 및 Ollama와 같은 로컬 러너 포함)을 통해 300개 이상의 모델에 연결되는 게이트웨이 계층 역할을 합니다. 사용자는 "model": "auto"를 사용하여 단일 엔드포인트로 쿼리를 보낼 수 있으며, Manifest는 사용자 정의 라우팅 규칙에 따라 적절한 모델로 요청을 라우팅합니다. 또한 로깅을 위해 전체 요청/응답 본문을 기록하고 지출 및 한도를 추적합니다.

대상 사용자

다양한 LLM 제공업체를 원활하게 전환하거나, 여러 구독의 비용을 관리하거나, 로컬 모델을 프로덕션 워크플로우에 통합해야 하는 AI 에이전트 및 앱 개발자.

주요 특징

• 통합 엔드포인트: 다양한 API 키, 구독 및 로컬 모델을 하나의 OpenAI 호환 API로 연결합니다.
• 광범위한 제공업체 지원: 주요 연구소 및 llama.cpp, LM Studio와 같은 로컬 도구를 포함하여 35개 제공업체의 300개 이상의 모델을 통합합니다.
• 신뢰성 도구: 쿼리 실패 시 다른 모델로 자동 폴백하며, 잘못된 요청에 대한 셀프 힐링 기능을 제공합니다.
• 비용 관리: 지출을 실시간으로 추적하고 알림 및 한도 설정을 허용합니다.
• 유연한 배포: Docker, 클라우드 플랫폼(Railway, Render, AWS, GCP) 및 로컬 호스팅을 지원합니다.