QuantumNous/new-api

A unified AI model hub for aggregation & distribution. It supports cross-converting various LLMs into OpenAI-compatible, Claude-compatible, or Gemini-compatible formats. A centralized gateway for personal and enterprise model management.

New API – セルフホスト型AIゲートウェイ

概要 – New APIは、アプリケーション(またはAIエージェント)と様々な大規模言語モデルプロバイダーの間に配置される、オープンソースのセルフホスト型ゲートウェイです。単一で一貫したOpenAI互換のHTTP APIを提供し、ルーティング、使用量追跡、アクセス制御、価格設定、マルチモデル管理を処理します。

主な機能

  • マルチプロバイダーサポート – OpenAI、Anthropic、Google Gemini、Azure OpenAI、AWS Bedrock、Vertex AI、DeepSeek、Qwenなどのアップストリームサービスに接続可能。
  • 統一エンドポイント – お馴染みのOpenAIスタイルのルート(/v1/chat/completions、/v1/messages、/v1/embeddings、画像/音声生成、WebSocketリアルタイム通信など)に加え、プラグインタスクシステムを提供。
  • ルーティングとフェイルオーバー – チャネルの優先順位、重み、リトライ、アフィニティを定義し、プロバイダーを自動的にバランスまたは切り替え可能。
  • 使用量とコスト管理 – トークン使用量、キャッシュ管理、クォータ、サブスクリプション、式ベースの階層型価格設定を追跡。
  • 詳細なアクセス制御 – ユーザー、グループ、APIキーのスコープ、OAuth/OIDC、passkeys、2FA、セッション管理をサポート。
  • 拡張可能なタスクプラグイン – JavaScriptプラグインを使用して、カスタム非同期ジョブ(画像処理、動画生成など)を追加し、ステータスエンドポイントを提供可能。
  • Webコンソール – モデル設定、ダッシュボード表示、ユーザー管理、APIテストのためのReactベースの多言語UI。

はじめ方

  1. Dockerで実行 – 単一のコマンドでNew APIを起動し、SQLiteストアを使用します。
    mkdir -p data
    docker run --name new-api -d --restart unless-stopped \
      -p 127.0.0.1:3000:3000 \
      -e TZ=Asia/Shanghai \
      -v "$(pwd)/data:/data" calciumion/new-api:latest
    
  2. http://localhost:3000 にアクセスし、セットアップウィザードを実行してアップストリームチャネル(OpenAIキーなど)を追加し、APIキーを作成します。
  3. クライアントを http://localhost:3000/v1 に向け、発行されたキーを使用して元のプロバイダーと同様に利用します。

デプロイオプション

  • Docker-Compose – 本番環境向けの永続化とレート制限のために、PostgreSQL + Redis(またはMySQL/ClickHouse)を含みます。
  • 構成可能なストレージ – SQLite、MySQL、PostgreSQL、オプションの独立ログDB、Redisキャッシュをサポート。
  • 環境変数 – DB接続、シークレット、Cookieセキュリティ、信頼されたプロキシなどを制御。
  • マルチノード構成ではメインDBとシークレットキーを共有し、Redisを使用してレート制限を共有可能。

開発

  • バックエンド:Go + Ginフレームワーク。
  • フロントエンド:React 19, TypeScript, Tailwind 4(Bunでビルド)。
  • relaykit – 4つの主要なテキストプロトコルを正規化するGoモジュール。
  • プラグインは plugins/tasks/ に配置。Task Plugin API v1に従ってJavaScriptプラグインを作成。
  • ビルド手順:UIは bun install && bun run build、サーバーは go run .、または提供されている make dev ワークフローを使用。

ドキュメントとコミュニティ

ライセンス – AGPL-v3(追加の帰属要件あり)。


要するに、New APIはチームが独自の「ワンストップショップ」としてLLMアクセスをホストすることを可能にし、使い慣れたOpenAIスタイルのAPIを維持しながら、コスト、セキュリティ、プロバイダーの選択を制御できるようにします。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト