ThinkWatchProject/ThinkWatch

Self-hosted AI API and MCP gateway for organizations: SSO and RBAC, per-user identity for MCP tool calls, PII redaction and tool-call guards, rate limits, budgets, cost accounting and audit logs.

ThinkWatch – セルフホステッドAI & MCPゲートウェイ

機能

  • すべてのLLMリクエスト(OpenAI、Anthropic、Gemini、Azure、Bedrockなど)およびMCPツール呼び出し(GitHub、Notion、Slackなど)のための、組織全体の単一ゲートウェイとして機能します。
  • すべてのリクエストは、会社のIDプロバイダー(OIDC)に対して認証され、ユーザー/ロールごとのレート制限と予算に対してチェックされ、3つの組み込みセキュリティガードによって検査され、価格が設定され、最後に監査ストアに記録されます。
  • 管理コンソール(ポート3001のWeb UI)を提供し、管理者がプロバイダー、ロール、制限、予算、セキュリティルールを構成し、監査データを表示できます。

主要コンポーネント

コンポーネント 役割
ゲートウェイ(ポート3000) OpenAI、Anthropic、Gemini APIを話すHTTPエンドポイント。受信した呼び出しを適切なアップストリームプロバイダーに変換し、レート制限、予算、セキュリティガード変換を適用し、イベントを記録します。
コンソール(ポート3001) プロバイダー、OIDC、ロール、制限、予算、セキュリティガードの構成と監査ログの表示のための管理UI + 管理API。
ThinkWatch Coreクレート 形式変換、ガードロジック、サーキットブレーカールーティング、およびAmazon Bedrock署名を処理する再利用可能なRustライブラリ(tw-dialect、tw-guard、tw-breaker、tw-bedrock)。
ストレージ 構成用のPostgreSQL、不変監査ログ用のClickHouse、キャッシュとレート制限カウンター用のRedis(シングルノードまたはクラスター)。
デプロイメント クイックなローカル開発用のDocker-Compose、Kubernetes本番デプロイ用のHelmチャート。

なぜ重要か

  • セキュリティファーストゲートウェイ – 秘密、個人データ、危険なコマンドは、組織から出る前に自動的に編集またはブロックされます。カスタムガードルールにより、セキュリティチームはコンプライアンスニーズに一致するポリシーを適用できます。
  • 統合請求とコスト管理 – リクエストにはモデル、プロバイダー、コストセンターがタグ付けされ、システムはCSVチャージバックレポートと予測を生成し、財務チームがAI支出を管理下に置くのに役立ちます。
  • ユーザーごとのツール資格情報 – ユーザーがGitHub、Notion、Slackなどのアカウントをリンクすると、ゲートウェイはアップストリームツールを呼び出す際にそのユーザーのトークンを使用するため、アップストリームの監査ログに実際のアクターが表示されます。
  • 柔軟なルーティング – トラフィックは重み付け、レイテンシーまたはヘルスによってルーティングでき、サーキットブレーカーが失敗したアップストリームを自動的に削除します。

開始方法(クイック開発フロー)

make infra               # Postgres、ClickHouse、Redisなどを起動
make dev-secrets          # ランダムな秘密鍵で.envを生成
make dev-backend          # ゲートウェイ(3000)とコンソール(3001)を起動
cd web && pnpm install && pnpm dev   # React管理UIを実行
# http://localhost:5173/setupを開いて初期構成を完了

本番環境では、make deploy(Docker-Compose)またはmake helm-deploy(Kubernetes)を実行できます。

誰が使うべきか

  • すべてのAIモデル使用とツール統合のための要塞ホストスタイルのコントロールプレーンを望む企業。
  • 厳格なデータプライバシーガード、ユーザーごとの資格情報処理、詳細なコスト会計を必要とするチーム。
  • 独自のIDプロバイダー(Okta、Azure AD、Zitadelなど)を既に実行しており、AIワークロードにシームレスなSSOを望む組織。

ライセンスと商用モデル

  • Business Source License 1.1の下でソース利用可能。非本番用途および本番での月間10M課金トークンまたは10k MCPツール呼び出しまで無料。これらのしきい値を超える場合は商用ライセンスが必要です。

上記のすべての情報は、リポジトリのREADMEから直接取得されています。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト