kittors/CliRelay

解决的问题

CliRelay 是一个统一的代理服务器，旨在将多个 AI CLI 订阅、API 密钥和 OAuth 凭据整合到一个统一的管理 API 层中。用户可以使用现有的订阅与任何 OpenAI、Gemini、Claude 或 Codex 兼容客户端配合使用，无需再为不同 AI 编码工具管理多个独立的端点和认证方式。

工作原理

它作为网关（默认端口 8317）运行，前端对接 Google Gemini、Anthropic Claude、OpenAI Codex 等多个上游提供商。系统将 AI 编码工具的请求代理到这些提供商，同时增加管理功能，包括：

• 路由与负载均衡：在 API 密钥之间使用轮询或优先填充调度策略，并支持自动故障转移至备用通道。
• 治理：实现多租户模型，支持角色、权限和审计日志，用于管理不同用户和团队的访问权限。
• 可观测性：将每个请求记录到 PostgreSQL 数据库中，追踪令牌数、延迟和状态，同时使用 Redis 实现实时状态和缓存。
• 管理：提供基于 Web 的控制面板（/manage）和终端 TUI，用于配置提供商、管理 API 密钥和监控使用情况。

适用人群

• 开发者与团队：使用多个 AI 编码工具和订阅，希望集中管理并路由流量的用户。
• 自托管用户：希望搭建生产级自托管代理，为多人管理 AI API 访问的用户。
• AI 工具高级用户：希望获得详细请求日志、配额控制以及跨多个提供商的多模态支持的用户。

主要亮点

• 统一入口：支持大量提供商的单一入口，包括 Gemini、Claude、Codex、Qwen、xAI/Grok 和 Bedrock。
• 多租户支持：完整支持租户、用户和细粒度权限模型。
• 详细监控：全面捕获请求，使用 PostgreSQL 压缩存储，并通过 WebSockets 实时展示系统状态。
• 配额与速率限制：基于密钥的令牌和请求配额，自动强制执行并定期重置。
• OpenAI 兼容性：兼容任何支持 OpenAI Chat Completions 协议的上游服务。
• 安全特性：原生 OAuth 流程、内容审核配置文件，以及请求遮蔽功能，可移除客户端标识头。