mnfst/manifest

何を解決するか

Manifest は、AIエージェントやアプリケーションがプロバイダーロックインやサービス障害によって破綻するのを防ぐために設計されたオープンソースのLLMゲートウェイです。複数のAPIキー、サブスクリプション、ローカルモデルの管理の複雑さを抽象化し、単一のOpenAI互換エンドポイントを提供します。

動作方法

ユーザーは、さまざまなAIプロバイダー（APIキー、ChatGPT PlusやClaude Proなどのサブスクリプション、OllamaやLM Studioなどのローカルランナーを含む）をManifestに接続します。ゲートウェイはクエリを適切なモデルにルーティングします。"model": "auto" を含むリクエストを送信することで、Manifestはクエリに最適なモデルを自動的に選択します。

対象ユーザー

1つのLLMプロバイダーに依存したくない、コスト、ログ、モデルフォールバックを信頼できる方法で管理したいAIエージェントやアプリケーションの開発者向けです。

特徴

• 広範なプロバイダーサポート：32の組み込みプロバイダーコネクションを通じて300以上のモデルに接続可能。主要なラボやローカル推論エンジンを含みます。
• 信頼性機能：クエリが失敗した場合、異なるモデルへの自動フォールバックと、不正なリクエストに対する自己修復機能を備えています。
• 統合インターフェース：シームレスな統合を可能にするOpenAI互換エンドポイントを提供します。
• 可観測性：成功およびエラーメッセージの完全な本文ログを提供し、支出の追跡、通知の設定、制限の設定などのツールを備えています。
• 柔軟なデプロイ：Dockerによるセルフホスティング、Railway、AWS、GCP、Renderなどのプラットフォームでのワンクリックデプロイをサポートしています。