mnfst/manifest

해결하는 문제

Manifest는 AI 에이전트와 애플리케이션이 프로바이더 종속성 또는 서비스 장애로 인해 중단되는 것을 방지하기 위해 설계된 오픈소스 LLM 게이트웨이입니다. 여러 API 키, 구독, 로컬 모델을 관리하는 복잡성을 추상화하고 단일 OpenAI 호환 엔드포인트를 제공합니다.

작동 방식

사용자는 다양한 AI 프로바이더(예: API 키, ChatGPT Plus 또는 Claude Pro와 같은 구독, Ollama 또는 LM Studio와 같은 로컬 러너 포함)를 Manifest에 연결합니다. 게이트웨이는 쿼리를 적절한 모델로 라우팅합니다. "model": "auto"를 포함한 요청을 보내면 Manifest는 쿼리에 가장 적합한 모델을 자동으로 선택합니다.

대상 사용자

단일 LLM 프로바이더에 의존하고 싶지 않으며, 비용, 로그, 모델 폴백을 신뢰할 수 있는 방식으로 관리하고자 하는 AI 에이전트 및 애플리케이션 개발자에게 적합합니다.

주요 특징

• 광범위한 프로바이더 지원: 32개의 내장 프로바이더 연결을 통해 300개 이상의 모델에 연결 가능하며, 주요 랩과 로컬 추론 엔진을 포함합니다.
• 신뢰성 기능: 쿼리 실패 시 다른 모델로 자동 폴백하고, 잘못된 요청에 대해 자가 복구 기능을 제공합니다.
• 통합 인터페이스: 원활한 통합을 위한 OpenAI 호환 엔드포인트를 제공합니다.
• 관측성: 성공 및 오류 메시지의 전체 본문 로그를 제공하며, 지출 추적, 알림 설정, 제한 설정 도구를 제공합니다.
• 유연한 배포: Docker를 통한 자체 호스팅 또는 Railway, AWS, GCP, Render와 같은 플랫폼에서의 원클릭 배포를 지원합니다.