ellipticmarketing/modelrelay

解决的问题

modelrelay 是一个与 OpenAI 兼容的本地路由器，旨在帮助开发者通过将请求转发至各个供应商提供的最佳免费编程模型，从而避免支付 API 使用费用。它通过提供单一、统一的接口，消除了手动切换不同 AI 供应商及其特定 API 格式的需求。

运作方式

该工具作为一个本地代理服务器（可通过 http://localhost:7352/v1 访问），对来自 12 个以上供应商（包括 NVIDIA、Groq、OpenRouter 和 Google）的免费模型进行基准测试，并根据服务质量 (QoS) 分数自动将请求转发至表现最佳的模型。此分数结合了模型的智能百分位数与其近期观察到的平均延迟。

用户可以使用特定的模型 ID、能力标签（例如 tag:coding）或 auto-fastest 标识符来路由请求。它也支持根据最小上下文窗口大小进行筛选（例如 auto-fastest+min_ctx:128k）。

目标用户

它主要针对 AI 编程助手和开发者，他们希望在无需管理多个 API 密钥或支付使用费的情况下，访问广泛的高性能免费 LLM。

特色亮点

• OpenAI 兼容：可作为现有工具和脚本的直接替代品。
• 自动路由：自动选择最快且性能最强的模型。
• 广泛的模型支持：可访问来自 12 个以上供应商的 80 多个模型。
• 上下文窗口筛选：能够根据所需的最小上下文大小筛选模型。
• 自定义标签：用户可以通过 Web UI 为模型分配自己的路由标签。
• 灵活安装：可通过 NPM 或 Docker 安装。