bestruirui/octopus
One Hub All LLMs For You | 为个人打造的 LLM API 聚合网关
何を解決するか
Octopus は、複数の AI プロバイダーを使用する個人向けに設計された LLM API 集約サービスです。複数の API キーと異なる API 形式を管理する必要がなくなり、さまざまなモデルに一元的なインターフェースでアクセスできるようになり、自動フェイルオーバーにより高い可用性を確保します。
動作方法
このサービスはクライアントと複数の LLM プロバイダーの間のプロキシとして機能します。OpenAI、Anthropic、Gemini のフォーマット間でプロトコルを変換し、複数のプロバイダーのチャネルを「グループ」（一元的なモデル名）に統合します。また、models.dev などの外部ソースから価格データを同期して、トークン消費量とコストを追跡します。
対象ユーザー
- 異なるプロバイダー間で複数の LLM API キーを管理する個人。
- AI エージェントやアプリケーションに単一で安定したエンドポイントを必要とする開発者。
- 異なるチャネル間での合計 AI 消費額を追跡したいユーザー。
特徴
- マルチチャネル集約: 1 つの場所で複数の LLM プロバイダーを接続・管理。
- プロトコル変換: OpenAI と Anthropic の API 形式をスムーズに切り替え可能。
- 自動フェイルオーバー: 上流プロバイダーが障害発生時に自動的に稼働中のチャネルに切り替え。
- リアルタイム可視化: フロントエンドでクライアントからプロバイダーへの完全なリクエストパスを確認可能。
- 軽量なデプロイ: SQLite、MySQL、PostgreSQL をサポートする単一バイナリでデプロイ可能。
関連
- プロジェクト
theopenco/llmgatewayLLM Gateway は、複数のLLMプロバイダーへのリクエストをルーティングするためのオープンソースAPIゲートウェイで、単一のOpenAI互換エンドポイントを提供し、APIキーの集中管理と組み込みの使用状況・パフォーマンス分析を実現します。Docker経由でホストされたSaaSサービスまたはセルフホストが可能です。
- プロジェクト
atopos31/llmio複数の AI プロバイダー向けに統合 REST API、重み付きスケジューリング、詳細な監視機能を提供する Go ベースの LLM ロードバランシングゲートウェイ。
- プロジェクト
yym68686/uni-apiuni‑apiは、OpenAI互換APIを1つ提供する設定のみのサーバーであり、OpenAI、Anthropic、Gemini、Vertex、Azure、AWSなど、多数のLLMプロバイダーにリクエストをルーティングします。重み付きおよびラウンドロビンのロードバランシング、自動リトライ、モデルごとのタイムアウト、レート制限、ツールコールの透過、コンテンツモデレーション、細かいリクエストオーバーライドなどを`api.yaml`ファイルまたは`CONFIG_URL`で定義可能。Dockerコンテナとしてデプロイ可能（Fugueのワンクリックボタンを提供）
- プロジェクト
fruitbars/simple-one-apisimple‑one‑api は、複数のLLMプロバイダーをOpenAI互換のエンドポイントに統合し、容量を考慮したキー・スケジューリング、4層のレート制限、内蔵のReactチャットUI、視覚的な設定コンソール、およびWailsデスクトップクライアントを提供するオープンソースのGoゲートウェイです。単一のバイナリ、Dockerコンテナ、またはデスクトップアプリとして実行可能で、設定はSQLiteに保存されます。
- プロジェクト
mozilla-ai/otariOpenAI 互換性のある LLM ゲートウェイ。複数のプロバイダーを統一されたエンドポイント経由で提供し、中央集権的な認証情報管理、予算管理、使用量のトラッキングを可能にします。