ThinkWatchProject/ThinkWatch
Self-hosted AI API and MCP gateway for organizations: SSO and RBAC, per-user identity for MCP tool calls, PII redaction and tool-call guards, rate limits, budgets, cost accounting and audit logs.
ThinkWatch – セルフホステッドAI & MCPゲートウェイ
機能
- すべてのLLMリクエスト(OpenAI、Anthropic、Gemini、Azure、Bedrockなど)およびMCPツール呼び出し(GitHub、Notion、Slackなど)のための、組織全体の単一ゲートウェイとして機能します。
- すべてのリクエストは、会社のIDプロバイダー(OIDC)に対して認証され、ユーザー/ロールごとのレート制限と予算に対してチェックされ、3つの組み込みセキュリティガードによって検査され、価格が設定され、最後に監査ストアに記録されます。
- 管理コンソール(ポート3001のWeb UI)を提供し、管理者がプロバイダー、ロール、制限、予算、セキュリティルールを構成し、監査データを表示できます。
主要コンポーネント
| コンポーネント | 役割 |
|---|---|
| ゲートウェイ(ポート3000) | OpenAI、Anthropic、Gemini APIを話すHTTPエンドポイント。受信した呼び出しを適切なアップストリームプロバイダーに変換し、レート制限、予算、セキュリティガード変換を適用し、イベントを記録します。 |
| コンソール(ポート3001) | プロバイダー、OIDC、ロール、制限、予算、セキュリティガードの構成と監査ログの表示のための管理UI + 管理API。 |
| ThinkWatch Coreクレート | 形式変換、ガードロジック、サーキットブレーカールーティング、およびAmazon Bedrock署名を処理する再利用可能なRustライブラリ(tw-dialect、tw-guard、tw-breaker、tw-bedrock)。 |
| ストレージ | 構成用のPostgreSQL、不変監査ログ用のClickHouse、キャッシュとレート制限カウンター用のRedis(シングルノードまたはクラスター)。 |
| デプロイメント | クイックなローカル開発用のDocker-Compose、Kubernetes本番デプロイ用のHelmチャート。 |
なぜ重要か
- セキュリティファーストゲートウェイ – 秘密、個人データ、危険なコマンドは、組織から出る前に自動的に編集またはブロックされます。カスタムガードルールにより、セキュリティチームはコンプライアンスニーズに一致するポリシーを適用できます。
- 統合請求とコスト管理 – リクエストにはモデル、プロバイダー、コストセンターがタグ付けされ、システムはCSVチャージバックレポートと予測を生成し、財務チームがAI支出を管理下に置くのに役立ちます。
- ユーザーごとのツール資格情報 – ユーザーがGitHub、Notion、Slackなどのアカウントをリンクすると、ゲートウェイはアップストリームツールを呼び出す際にそのユーザーのトークンを使用するため、アップストリームの監査ログに実際のアクターが表示されます。
- 柔軟なルーティング – トラフィックは重み付け、レイテンシーまたはヘルスによってルーティングでき、サーキットブレーカーが失敗したアップストリームを自動的に削除します。
開始方法(クイック開発フロー)
make infra # Postgres、ClickHouse、Redisなどを起動
make dev-secrets # ランダムな秘密鍵で.envを生成
make dev-backend # ゲートウェイ(3000)とコンソール(3001)を起動
cd web && pnpm install && pnpm dev # React管理UIを実行
# http://localhost:5173/setupを開いて初期構成を完了
本番環境では、make deploy(Docker-Compose)またはmake helm-deploy(Kubernetes)を実行できます。
誰が使うべきか
- すべてのAIモデル使用とツール統合のための要塞ホストスタイルのコントロールプレーンを望む企業。
- 厳格なデータプライバシーガード、ユーザーごとの資格情報処理、詳細なコスト会計を必要とするチーム。
- 独自のIDプロバイダー(Okta、Azure AD、Zitadelなど)を既に実行しており、AIワークロードにシームレスなSSOを望む組織。
ライセンスと商用モデル
- Business Source License 1.1の下でソース利用可能。非本番用途および本番での月間10M課金トークンまたは10k MCPツール呼び出しまで無料。これらのしきい値を超える場合は商用ライセンスが必要です。
上記のすべての情報は、リポジトリのREADMEから直接取得されています。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト