ThinkWatchProject/ThinkWatch

ThinkWatch – 自托管AI与MCP网关

功能

• 作为所有LLM请求（OpenAI、Anthropic、Gemini、Azure、Bedrock等）和MCP工具调用（GitHub、Notion、Slack等）的组织级单一网关。
• 每个请求都通过公司身份提供商（OIDC）进行认证，根据用户/角色级速率限制和预算进行检查，由三个内置安全卫士检查，定价，最后记录到审计存储中。
• 提供管理控制台（端口3001的Web UI），管理员可在其中配置提供商、角色、限制、预算、安全规则并查看审计数据。

主要组件

组件	角色
网关（端口3000）	讲OpenAI、Anthropic和Gemini API的HTTP端点。将传入调用转换为适当的上游提供商，应用速率限制、预算、安全卫士转换并记录事件。
控制台（端口3001）	用于配置提供商、OIDC、角色、限制、预算、安全卫士和查看审计日志的管理UI + 管理API。
ThinkWatch Core crates	处理格式转换、卫士逻辑、熔断器路由和Amazon Bedrock签名的可重用Rust库（tw-dialect、tw-guard、tw-breaker、tw-bedrock）。
存储	PostgreSQL用于配置，ClickHouse用于不可变审计日志，Redis（单节点或集群）用于缓存和速率限制计数器。
部署	Docker-Compose用于快速本地开发，Helm chart用于Kubernetes生产部署。

为什么重要

• 安全优先的网关 – 机密、个人数据和危险命令在离开组织之前会被自动编辑或阻止。自定义卫士规则允许安全团队强制执行符合其合规需求的政策。
• 统一计费和成本控制 – 请求会标记模型、提供商和成本中心；系统生成CSV计费报告和预测，帮助财务团队控制AI支出。
• 用户级工具凭据 – 当用户链接GitHub、Notion、Slack等账户时，网关在调用上游工具时使用该用户的令牌，因此上游审计日志显示真实操作者。
• 灵活路由 – 流量可以加权、按延迟或健康度路由，熔断器自动移除失败的上游。

快速入门（快速开发流程）

make infra               # 启动Postgres、ClickHouse、Redis等
make dev-secrets          # 生成带有随机密钥的.env
make dev-backend          # 启动网关（3000）和控制台（3001）
cd web && pnpm install && pnpm dev   # 运行React管理UI
# 打开http://localhost:5173/setup完成初始配置

对于生产环境，您可以运行make deploy（Docker-Compose）或make helm-deploy（Kubernetes）。

适用对象

• 希望为所有AI模型使用和工具集成提供堡垒主机式控制平面的企业。
• 需要严格的数据隐私卫士、用户级凭据处理和详细成本核算的团队。
• 已经运行自己的身份提供商（Okta、Azure AD、Zitadel等）并希望为AI工作负载提供无缝SSO的组织。

许可证和商业模式

• 根据Business Source License 1.1提供源代码。非生产环境以及每月最多1000万可计费令牌或1万次MCP工具调用的生产环境免费。超过这些阈值需要商业许可证。

---

以上所有信息均直接取自仓库的README。