Nya-Foundation/NyaProxy

NyaProxy acts like a smart, central manager for accessing various online services (APIs) – think AI tools (like OpenAI, Gemini, Anthropic), image generators, or almost any web service that uses access keys. It helps you use these services more reliably, efficiently, and securely.

解决的问题

NyaProxy 提供了一种集中管理对外部或内部 API(如 AI 提供商、图像生成或 SaaS 服务)访问的方法,而无需将敏感的 API 密钥暴露给客户端应用程序。它解决了单个服务管理多个凭证的问题,处理速率限制,并通过自动重试和故障转移确保高可用性。

工作原理

NyaProxy 作为位于您的应用程序和上游服务之间的 API 网关。应用程序使用内部代理密钥向 NyaProxy 进行身份验证。NyaProxy 随后将请求转发到目标 API,并从管理的密钥池中注入适当的上游凭证。它使用可配置的负载均衡策略轮换密钥,并在端点、密钥和用户层面强制执行速率限制。如果请求因特定错误码失败,NyaProxy 可自动切换到另一个密钥并重试请求。

适用人群

专为需要集中管理凭证、实现配额感知路由,并防止上游 API 密钥暴露给前端或客户端代码的团队和开发者设计。

主要亮点

  • 凭证池化与注入:在多个上游密钥之间轮转流量,以最大化配额使用。
  • 高级负载均衡:支持轮询、随机、最少请求数、最快响应和加权选择。
  • 弹性:具备自动重试、故障转移和“隔离”系统,可临时阻止失败或被撤销的密钥。
  • 流量控制:实现多维度速率限制(端点、密钥、IP 和用户)和请求排队。
  • 请求修改:可使用 JMESPath 规则设置或删除请求体中的 JSON 字段,以兼容不同提供商。
  • 可观测性:包含 Web 仪表板和 Prometheus 指标端点。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目