eliasbiondo/antirion

Antirion 是一个开源 AI 网关：一个位于你的应用程序和 AI 模型提供商（如 OpenAI、Anthropic 或 Google）之间的单一程序。它为你提供一个通用 API 来与多个不同的提供商通信，并添加了智能路由、成本控制、安全检查、监控等功能——全部集成在一个轻量级的 Rust 二进制文件中，该文件包含一个内置的 Web 控制台用于管理。

主要特性（来自 README）：

• 速度：声称亚毫秒级开销和高吞吐量，与 Bifrost 和 LiteLLM 的基准测试显示其更快且更节省资源。
• 提供商支持：支持 OpenAI、Azure、Anthropic、Bedrock、Vertex、Gemini、Mistral、Cohere、Groq 等，以及任何兼容 OpenAI 或 Anthropic 的服务器。它能在不同的 API 方言之间进行转换（例如，OpenAI 客户端可以调用 Claude 模型）。
• 路由与弹性：故障转移链、加权拆分、最低成本/延迟/繁忙策略、重试、熔断器等。
• 成本控制：速率限制、美元或令牌预算、按模型定价、支出账本和警报。
• 安全性：针对 PII、机密、关键词、JSON 模式、审核和提示注入检测的护栏，支持阻止或编辑等操作。
• 可观测性：包含完整细节的请求日志、分析和缓存（精确和语义）。

快速开始很简单：运行一个 Docker 容器，打开控制台，粘贴管理员令牌，添加一个提供商（例如 OpenAI）并输入 API 密钥，添加模型，创建 API 密钥，然后发送你的第一个请求。基本使用无需配置文件。

部署选项：Docker（distroless 镜像）、Docker Compose（独立或集群）、Kubernetes（Helm chart）、Linux 预构建二进制文件，或从源码构建。它可以作为带有嵌入式存储的单个节点运行，或作为使用 PostgreSQL 和 Valkey 的集群运行。

该项目采用 Apache-2.0 许可证，使用 Rust 编写。README 包含详细的性能基准测试和复现步骤。