Lynk​r – 节省令牌、优化成本的LLM网关

它是什么

Lynkr 是一个基于 Node.js 的代理，您可以在本地（或容器中）运行，位于您的 AI 编码工具（Claude Code、Cursor、Codex 等）和您使用的大语言模型提供商之间。 它会自动执行三件事：

1. 压缩 JSON 负载 – 大型工具调用结果在到达模型之前会缩小约 84%。
2. 缓存语义相似的请求 – 命中时会在 <300 毫秒内返回缓存的答案，并且零令牌成本。
3. 将每个请求路由到最便宜且够用的模型 – 一个小型“层级”路由器决定查询是否可以由免费的本地模型（Ollama、llama.cpp、LM Studio）回答，还是需要升级到付费云提供商（OpenAI、Anthropic、Azure 等）。

所有这些都无需修改任何代码即可工作；您只需将客户端指向 http://localhost:8081/v1（或使用为 Claude Code 提供的 wrap 命令）。

---

谁可能使用它

用例	Lynkr 为何有帮助
个人开发者 – 日常编辑使用本地模型，但偶尔需要付费模型来处理难题。	将令牌使用量减少 50% 以上，并将订阅额度保留给真正需要的任务。
拥有混合技术栈的团队（部分本地模型，部分 Azure/OpenAI）。	提供单一端点，可转发到 14 多个受支持的提供商，并显示支出与节省的仪表板。
CI/CD 或自动化代码审查机器人 – 多次调用 LLM。	语义缓存消除重复调用；层级路由防止廉价模型过载。

---

核心功能（如 README 中所述）

功能	作用	报告的好处
JSON 压缩（RTK/TOON）	在发送到模型之前删除未使用的字段并压缩大型工具输出块。	在 JSON 密集的工具结果中减少 84% 的令牌。
语义缓存	存储最近请求的嵌入；几乎重复的查询在 <300 毫秒内从缓存中回答，不产生令牌费用。	0 令牌缓存命中；延迟从秒级降至毫秒级。
层级路由	四个可配置层级（SIMPLE、MEDIUM、COMPLEX、REASONING）。k-NN + bandit 路由器决定能够处理请求的最便宜层级，并每晚自动校准。	在工具密集型调用中令牌减少 53%；昂贵层级命中次数最多减少 15 倍。
Wrap 模式	单行包装器（lynkr wrap claude）将网关注入 Claude Code、Copilot、Cursor 等，而无需更改工具的配置。	零代码更改；粘性会话在对话期间保持相同的模型，直到其真正超出容量。
实时 SSE 流式传输	对已流式传输的提供商进行透传；否则将 OpenAI 风格流转换为 Anthropic 风格事件。	即使通过多个后端路由，也能持续逐令牌输出。
仪表板	http://localhost:8081/dashboard 显示支出、层级组合、路由准确率、日志、每个提供商的健康状况以及可操作的见解。	让您看到节省了哪些费用以及哪些地方的路由可以改进。
可选的 Graphify 代码分析	基于 Rust 的 AST 分析（19 种语言），可为路由器提供更丰富的复杂度评分。	对于代码密集型工作负载，层级决策更准确。
生产环境调节旋钮	速率限制、策略预算、负载削减、内存缓存、管理员热重载等。	使网关可用于 CI 或长时间运行的服务器。

---

如何开始（README 中的快速入门）

1. 安装 – npm install -g lynkr（或 Homebrew、Docker、单行脚本）。
2. 运行向导 – lynkr init 会创建包含您选择的提供商和层级定义的 .env。
3. 启动服务 – lynkr start（监听 localhost:8081）。
4. 配置您的工具 – 例如，在 Cursor 中将模型 URL 设置为 http://localhost:8081/v1，并设置任意 API 密钥值。
5. 可选 – lynkr wrap claude 自动包装 Claude Code。

---

限制与未决问题（来自 README）

• 网关依赖上游提供商的价格数据；除非您提供覆盖，否则未知模型将记录为 cost_usd=null。
• 某些高级功能（Graphify、负载削减、内存系统）需要额外的安装步骤（Rust 工具链、额外的环境变量）。
• 基准测试是针对 LiteLLM 和 RouterArena 呈现的；实际节省将取决于您自己的流量模式和对模型的选择。
• 该服务使用 Node 20+ 编写，因此需要较新的运行时和足够的内存来运行大型本地模型。

---

结论

Lynkr 是一个真正的、生产就绪的网关，让开发人员可以将免费的本地 LLM 与付费的云 API 结合，自动压缩负载，缓存重复查询，并将每个请求路由到能够处理它的最便宜层级。 README 提供了详细的安装、配置和基准测试信息，使其成为 AI 推理/代理工具领域真正的开源项目。