atopos31/llmio
Unified LLM gateway with weighted load balancing, observability & cost tracking. 统一的 LLM 网关，提供权重负载均衡、可观测性与费用追踪。
解决的问题
LLMIO 是一个负载均衡网关，简化了对多个 LLM 提供商的管理。它通过提供单一的统一 REST API，消除了在客户端应用中集成多个不同 API（如 OpenAI、Anthropic 和 Gemini）的需要。同时，它也解决了提供商连接不可靠以及不同模型端点间负载分布不均的问题。
工作原理
该系统作为 LLM 客户端与各个 AI 提供商之间的代理。它使用 Go 编写的后端和 SQLite 数据库进行配置和日志记录。提供两种加权调度策略（按权重随机或按权重优先），可根据特定功能（如工具调用或多模态支持）路由请求。内置了速率限制回退和连接性检查，以隔离故障。
适用人群
使用多个 LLM 提供商，并希望在不同模型和 API 之间集中管理路由、可观测性和成本追踪的开发者和团队。
主要亮点
- 统一 API：支持 OpenAI、Anthropic 和 Gemini 的原生格式，以及兼容的通用端点。
- 加权调度：根据权重和功能（如结构化输出、工具调用）路由请求。
- 可观测性：包含 TraceID、延迟分解、令牌使用量以及基于可配置定价的每请求成本计算的详细请求日志。
- 管理 UI：基于现代 React 的控制台，用于管理提供商、模型和监控指标。
- 会话追踪：使用
session_id标记和过滤日志，便于调试并可追溯完整的 IO 日志。 - 本地持久化：使用纯 Go SQLite 实现，开箱即用，无需额外配置。
相关
- 项目
- 项目
- 项目
- 项目
- 项目