atopos31/llmio
Unified LLM gateway with weighted load balancing, observability & cost tracking. 统一的 LLM 网关，提供权重负载均衡、可观测性与费用追踪。
解決的問題
LLMIO 是一個負載平衡網關，簡化了對多個 LLM 提供商的管理。它透過提供單一的統一 REST API，消除了在客戶端應用中整合多個不同 API（如 OpenAI、Anthropic 和 Gemini）的需要。同時，它也解決了提供者連接不可靠以及不同模型端點間負載分佈不均的問題。
工作原理
該系統作為 LLM 客戶端與各個 AI 提供商之間的代理。它使用 Go 編寫的後端和 SQLite 資料庫進行設定和日誌記錄。提供兩種加權排程策略（按權重隨機或按權重優先），可根據特定功能（如工具呼叫或多模態支援）路由請求。內建速率限制回退和連接性檢查，以隔離故障。
適用對象
使用多個 LLM 提供商，並希望在不同模型和 API 之間集中管理路由、可觀測性和成本追蹤的開發者和團隊。
主要亮點
- 統一 API：支援 OpenAI、Anthropic 和 Gemini 的原生格式，以及相容的通用端點。
- 加權排程：根據權重和功能（如結構化輸出、工具呼叫）路由請求。
- 可觀測性：包含 TraceID、延遲分解、令牌使用量以及基於可設定定價的每請求成本計算的詳細請求日誌。
- 管理 UI：基於現代 React 的控制台，用於管理提供者、模型和監控指標。
- 會話追蹤：使用
session_id標記和過濾日誌，便於除錯並可追溯完整的 IO 日誌。 - 本地持久化：使用純 Go SQLite 實作，開箱即用，無需額外設定。
相關
- 專案
- 專案
- 專案
- 專案
- 專案