ThinkWatchProject/ThinkWatch

ThinkWatch – 셀프 호스팅 AI 및 MCP 게이트웨이

기능

• 모든 LLM 요청(OpenAI, Anthropic, Gemini, Azure, Bedrock 등) 및 MCP 도구 호출(GitHub, Notion, Slack 등)을 위한 조직 전체의 단일 게이트웨이 역할을 합니다.
• 모든 요청은 회사의 ID 공급자(OIDC)에 대해 인증되고, 사용자/역할별 요율 제한 및 예산에 대해 확인되며, 세 가지 내장 보안 가드에 의해 검사되고, 가격이 책정되고, 마지막으로 감사 저장소에 기록됩니다.
• 관리자가 공급자, 역할, 제한, 예산, 보안 규칙을 구성하고 감사 데이터를 볼 수 있는 관리 콘솔(포트 3001의 웹 UI)을 제공합니다.

주요 구성 요소

구성 요소	역할
게이트웨이(포트 3000)	OpenAI, Anthropic 및 Gemini API를 사용하는 HTTP 엔드포인트. 수신 호출을 적절한 업스트림 공급자로 변환하고, 요율 제한, 예산, 보안 가드 변환을 적용하고, 이벤트를 기록합니다.
콘솔(포트 3001)	공급자, OIDC, 역할, 제한, 예산, 보안 가드 구성 및 감사 로그 보기를 위한 관리 UI + 관리 API.
ThinkWatch Core 크레이트	형식 변환, 가드 로직, 회로 차단기 라우팅 및 Amazon Bedrock 서명을 처리하는 재사용 가능한 Rust 라이브러리(tw-dialect, tw-guard, tw-breaker, tw-bedrock).
스토리지	구성을 위한 PostgreSQL, 불변 감사 로그를 위한 ClickHouse, 캐싱 및 요율 제한 카운터를 위한 Redis(단일 노드 또는 클러스터).
배포	빠른 로컬 개발을 위한 Docker-Compose, Kubernetes 프로덕션 배포를 위한 Helm 차트.

중요한 이유

• 보안 우선 게이트웨이 – 비밀, 개인 데이터 및 위험한 명령은 조직을 떠나기 전에 자동으로 편집되거나 차단됩니다. 사용자 지정 가드 규칙을 통해 보안 팀은 규정 준수 요구 사항에 맞는 정책을 적용할 수 있습니다.
• 통합 결제 및 비용 관리 – 요청에는 모델, 공급자 및 비용 센터가 태그되며, 시스템은 CSV 차지백 보고서와 예측을 생성하여 재무 팀이 AI 지출을 통제하는 데 도움을 줍니다.
• 사용자별 도구 자격 증명 – 사용자가 GitHub, Notion, Slack 등 계정을 연결하면 게이트웨이는 업스트림 도구를 호출할 때 해당 사용자의 토큰을 사용하므로 업스트림 감사 로그에 실제 행위자가 표시됩니다.
• 유연한 라우팅 – 트래픽은 가중치를 부여하거나 대기 시간 또는 상태에 따라 라우팅할 수 있으며, 회로 차단기가 실패한 업스트림을 자동으로 제거합니다.

시작하기(빠른 개발 흐름)

make infra               # Postgres, ClickHouse, Redis 등을 시작
make dev-secrets          # 임의의 비밀로 .env 생성
make dev-backend          # 게이트웨이(3000) 및 콘솔(3001) 시작
cd web && pnpm install && pnpm dev   # React 관리 UI 실행
# http://localhost:5173/setup을 열어 초기 구성 완료

프로덕션의 경우 make deploy(Docker-Compose) 또는 make helm-deploy(Kubernetes)를 실행할 수 있습니다.

사용 대상

• 모든 AI 모델 사용 및 도구 통합을 위한 배스천 호스트 스타일 제어 플레인을 원하는 기업.
• 엄격한 데이터 개인 정보 보호 가드, 사용자별 자격 증명 처리 및 상세한 비용 회계가 필요한 팀.
• 자체 ID 공급자(Okta, Azure AD, Zitadel 등)를 이미 실행 중이며 AI 워크로드에 원활한 SSO를 원하는 조직.

라이선스 및 상업 모델

• Business Source License 1.1에 따라 소스 사용 가능. 비프로덕션 및 프로덕션에서 월 1,000만 청구 가능 토큰 또는 1만 MCP 도구 호출까지 무료. 이러한 임계값을 초과하면 상용 라이선스가 필요합니다.

---

위의 모든 정보는 저장소의 README에서 직접 가져온 것입니다.