mnfst/llm-gateway

解決する課題

Manifestは、AIエージェントやアプリケーション向けに、プロバイダーロックインを排除する統一されたOpenAI互換エンドポイントを提供します。異なるプロバイダー間で複数のAPIキー、サブスクリプション、ローカルモデルを管理する問題を解決し、自動フォールバックと失敗したリクエストの自己修復機能によって信頼性を確保します。

仕組み

35個の組み込みプロバイダー接続（OpenAI、Anthropic、Google、およびOllamaなどのローカルランナーを含む）を介して、300以上のモデルに接続するゲートウェイ層として機能します。ユーザーは "model": "auto" を使用して単一のエンドポイントにクエリを送信でき、Manifestはカスタムルーティングルールに基づいて適切なモデルにリクエストをルーティングします。また、ログ記録用にリクエスト/レスポンスの全文を記録し、支出と制限を追跡します。

対象ユーザー

異なるLLMプロバイダーをシームレスに切り替え、複数のサブスクリプションのコストを管理し、またはローカルモデルを本番ワークフローに統合する必要があるAIエージェントおよびアプリの開発者。

ハイライト

• 統一エンドポイント：さまざまなAPIキー、サブスクリプション、およびローカルモデルを一つのOpenAI互換APIに接続します。
• 幅広いプロバイダーサポート：主要なラボやllama.cpp、LM Studioなどのローカルツールを含む、35のプロバイダーにわたる300以上のモデルを統合します。
• 信頼性ツール：クエリが失敗したときに異なるモデルへ自動的にフォールバックし、不正なリクエストに対して自己修復機能を提供します。
• コスト管理：支出をリアルタイムで追跡し、通知と制限の設定が可能です。
• 柔軟なデプロイ：Docker、クラウドプラットフォーム（Railway、Render、AWS、GCP）、およびローカルホスティングをサポートします。