atopos31/llmio

Unified LLM gateway with weighted load balancing, observability & cost tracking. 统一的 LLM 网关，提供权重负载均衡、可观测性与费用追踪。

解决的问题

LLMIO 作为一个中心化网关，用于管理多个 LLM 提供商（如 OpenAI、Anthropic、Gemini 等）。它通过提供统一的 REST 接口解决了集成不同 API 的复杂性，使开发者能够跨模型路由请求、管理配额，并通过单一服务监控使用情况。

工作原理

该项目使用 Go 构建，充当负载均衡代理。它在不同的 LLM 协议之间进行转换（例如，将 Anthropic 消息转换为 OpenAI 格式），处理加权请求调度，并管理自定义标头或会话密钥，以确保与各种客户端的兼容性。它包含一个基于 React 的管理 UI，用于监控、日志检查以及配置诸如按时段定价和数据库维护等高级功能。

适用对象

需要管理多个 LLM 集成、实施成本跟踪，或需要一个强大的自托管代理来处理跨不同 AI 模型提供商的负载均衡和可观测性的开发者和团队。

亮点

  • 统一 API：将不同的提供商协议标准化为单一、一致的接口。
  • 高级路由：支持加权调度和提供商之间的自动协议转换。
  • 可观测性：提供详细的使用分析、延迟跟踪和带有会话比较工具的请求日志记录。
  • 高效存储：使用基于内容的块划分和全局去重技术，大幅减少 SQLite 中请求日志的存储占用。
  • 操作控制：内置断路器、速率限制以及用于空间回收的复杂数据库维护工具。

相关

  • 项目
    theopenco/llmgateway

    LLM Gateway 是一个开源的 API 层，通过单个兼容 OpenAI 的端点，让您可以调用多个 LLM 提供商，并内置密钥管理、成本跟踪和性能监控。它可以作为托管 SaaS 使用，也可以通过 Docker 自托管。

  • 项目
    yym68686/uni-api

    uni‑api 是一个基于 Docker 的开源网关，允许您暴露单一的 OpenAI 兼容 API，同时将请求路由到多种不同的 LLM 后端（OpenAI、Anthropic、Gemini、Vertex、Azure、AWS 等）。它提供仅 YAML 配置、加权/轮询负载均衡、自动重试、按模型超时、速率限制、内容审核以及工具和图像支持。

  • 项目
    ENTERPILOT/GoModel

    GoModel 是一个用 Go 编写的开源 AI 网关，为数十个 LLM 提供商提供单一的 OpenAI 兼容端点。它增加了缓存、成本跟踪、预算、速率限制、故障转移、可观测性（Prometheus/OpenTelemetry）、Web 仪表板和可扩展插件，帮助团队控制支出和可靠性，同时保持现有 SDK 不变。

  • 项目
    tbphp/gpt-load

    GPT-Load 是一个开源 Go 服务，充当许多 LLM API 的单一自托管网关。它让您可以配置多个提供商、管理 API 密钥、调度流量、处理重试，并查看统一日志和成本仪表板——所有这些都在熟悉的 OpenAI 兼容 HTTP 接口背后。

  • 项目
    router-for-me/CLIProxyAPI

    CLI Proxy API 是一个开源代理服务器，为许多 LLM 提供商（OpenAI、Gemini、Claude、Grok、Kimi、Meta 等）提供统一的 OpenAI 兼容 API。它处理 OAuth 登录、多账户负载均衡、流式传输、函数调用和多模态输入，并提供可选的仪表板来跟踪使用量和成本。非常适合拥有多个 AI 订阅、希望为其 CLI 工具提供单一本地端点的开发人员。