bestruirui/octopus

何を解決するか

Octopus は、複数の AI プロバイダーを使用する個人向けに設計された LLM API 集約サービスです。複数の API キーと異なる API 形式を管理する必要がなくなり、さまざまなモデルに一元的なインターフェースでアクセスできるようになり、自動フェイルオーバーにより高い可用性を確保します。

動作方法

このサービスはクライアントと複数の LLM プロバイダーの間のプロキシとして機能します。OpenAI、Anthropic、Gemini のフォーマット間でプロトコルを変換し、複数のプロバイダーのチャネルを「グループ」（一元的なモデル名）に統合します。また、models.dev などの外部ソースから価格データを同期して、トークン消費量とコストを追跡します。

対象ユーザー

• 異なるプロバイダー間で複数の LLM API キーを管理する個人。
• AI エージェントやアプリケーションに単一で安定したエンドポイントを必要とする開発者。
• 異なるチャネル間での合計 AI 消費額を追跡したいユーザー。

特徴

• マルチチャネル集約: 1 つの場所で複数の LLM プロバイダーを接続・管理。
• プロトコル変換: OpenAI と Anthropic の API 形式をスムーズに切り替え可能。
• 自動フェイルオーバー: 上流プロバイダーが障害発生時に自動的に稼働中のチャネルに切り替え。
• リアルタイム可視化: フロントエンドでクライアントからプロバイダーへの完全なリクエストパスを確認可能。
• 軽量なデプロイ: SQLite、MySQL、PostgreSQL をサポートする単一バイナリでデプロイ可能。