yym68686/uni-api

What it solves

uni-api は、複数の大規模言語モデル (LLM) プロバイダーを単一の OpenAI 互換インターフェースに統合する、軽量で設定ベースの API ゲートウェイです。大規模な API 管理ツールに見られるような複雑なフロントエンドや商用機能の必要性を排除し、個人が単一のエンドポイントを通じてさまざまなバックエンドサービスを管理および呼び出すことを容易にします。

How it works

ユーザーは YAML ファイル (api.yaml) を介して API チャネルを設定します。システムは、OpenAI、Anthropic、Gemini、Vertex AI、Azure、AWS などの多様なバックエンドサービスを、統一された OpenAI 形式にマッピングします。ロードバランシング (重み付け、シーケンシャル、またはラウンドロビン)、自動リトライ、および失敗したチャネルを一時的に無効にする「クーリング」メカニズムを含む、高度なリクエストルーティングをサポートしています。

Who it’s for

複雑な管理インターフェースのオーバーヘッドなしに、さまざまな LLM キーとプロバイダーを統合するための、シンプルなフロントエンドなしの API ステーションを求める個人および開発者向けに設計されています。

Highlights

• Broad Provider Support: OpenAI、Anthropic、Gemini、Vertex、Azure、AWS、xAI、Cohere、Groq、Cloudflare、および OpenRouter を統合します。
• OpenAI Compatibility: 複数のバックエンドサービスを標準的な OpenAI 形式のインターフェース (例: /v1/chat/completions, /v1/embeddings) に変換します。
• Native Feature Support: 主要なプロバイダーのネイティブなツール使用 (function calling) および画像認識をサポートしています。
• Intelligent Routing: チャネルレベルの重み付けロードバランシング、自動リトライ、および失敗時の自動チャネルクーリング機能を備えています。
• Fine-grained Control: モデル固有のタイムアウト設定、レート制限 (分/時/日/月/年ごと)、および API キーのワイルドカードベースの権限管理を提供します。
• Safety: バックエンド API の BAN リスクを軽減するために、OpenAI moderation によるモラルレビューを含んでいます。