ellipticmarketing/modelrelay

解决的问题

modelrelay 是一个本地路由器，可免费访问多种 AI 编码模型。它通过基准测试并自动将请求路由到多个提供商中可用的最佳免费模型，消除了为多个 API 订阅付费的需要。

工作原理

它作为 OpenAI 兼容代理运行。当向 auto-fastest 端点或特定模型组发送请求时，路由器会根据模型的智能百分位和最近平均延迟的综合评估，计算服务质量（QoS）分数。它可根据标签（例如 coding、reasoning）或最小上下文窗口要求（min_ctx）进行请求路由。

适用人群

希望无需管理多个 API 密钥或手动在不同提供商之间切换，即可免费访问高性能 LLM 的开发者和 AI 编码工具用户。

主要亮点

• OpenAI 兼容性： 可作为现有工具和脚本的即插即用替代品。
• 自动路由： 基于实时基准测试，自动选择最快且最强大的模型。
• 广泛支持： 支持来自 NVIDIA、Groq、Google 等 12+ 提供商的 80+ 模型。
• 灵活路由： 支持按能力标签（如 tag:coding）和最小上下文窗口过滤器进行路由。
• 本地管理： 内置 Web UI，用于管理提供方、固定模型和配置 QoS 设置。