ThinkWatchProject/ThinkWatch
Enterprise AI bastion host for secure AI API and MCP access, with unified proxying, RBAC, audit logs, rate limiting, and cost tracking across OpenAI, Anthropic, Gemini, and self-hosted LLMs.
解決的問題
ThinkWatch 是一款企業級安全閘道,旨在集中管理 AI API 呼叫與模型上下文協定(MCP)工具呼叫。它解決了組織常見的挑戰,例如分散的 API 金鑰、無法監控 token 使用量與成本、模型與工具缺乏存取控制,以及審計日誌中的合規性缺口。
作法
ThinkWatch 作為統一代理(閘道)與管理介面(控制台)運作。它攔截所有 AI 請求與 MCP 工具呼叫,提供單一控制平面用於認證、授權與監控。
- AI 閘道:可作為 Cursor 或 Claude Code 等多種 AI SDK 與客戶端的即插即用替代品,將請求路由至 OpenAI、Anthropic、Google Gemini 等提供者,同時處理格式轉換與串流。
- MCP 閘道:與一般代理不同,它透過使用者級 OAuth 權杖或 PAT 將真實終端使用者身分傳遞至上游伺服器,確保上游側的審計日誌反映實際使用者,而非共享服務帳戶。
- 治理引擎:實作多層級 RBAC 系統、具生命週期管理的虛擬 API 金鑰,以及結合滑動視窗速率限制與自然週期預算上限的複雜配額系統。
適用對象
專為需要在團隊中安全、審計與治理 AI 代理泛濫的組織與工程團隊設計,尤其適用於需要嚴格身分傳遞以支援 MCP 工具與詳細成本歸因的場景。
核心亮點
- 統一 AI 代理:單一端口支援多種 API 格式(OpenAI、Anthropic)與提供者(Azure、Bedrock、Gemini)。
- 身分感知 MCP:透過加密的 OAuth/PAT 儲存庫將真實使用者身分傳遞至上游工具,避免「共享服務帳戶」問題。
- 高階配額管理:結合滑動視窗速率限制與日曆對齊的預算上限,並支援按模型的 token 加權。
- 企業級安全:採用 AES-256-GCM 加密、OIDC/SSO 集成,以及無發行版容器,實現最小攻擊面。
- 深度可觀測性:使用 ClickHouse 實現高效能審計日誌,並提供 Prometheus 指標用於即時監控。
相關
- 專案
- 專案
- 專案
- 專案
- 專案