Fast-Editor/Lynkr

解决的问题

Lynkr 是一个旨在降低 AI 编程工具 Token 成本和延迟的 LLM 网关。它防止用户被单一供应商锁定，并防止工具发送未经优化的原始 Token，从而避免高额账单和低效的模型使用。

工作原理

Lynkr 在 AI 工具（如 Cursor、Claude Code 或 Codex）与 LLM 提供商之间充当代理。它通过以下机制优化流量：

• 分层路由 (Tier Routing)：利用 anchor-embedding 分类和本地 LLM 分类器分析请求复杂度，将简单任务路由至廉价/本地模型，将复杂任务路由至强大的云端模型。
• Token 压缩 (Token Compression)：使用 TOON/RTK 压缩技术，将大型 JSON 工具结果（例如 grep 或文件读取）的大小减少高达 84%。
• 语义缓存 (Semantic Caching)：存储相似查询的响应，从而能够在不消耗任何 Token 的情况下，在 300ms 内响应重复或改写的请求。
• 封装模式 (Wrap Mode)：可以封装现有的 AI 编程助手，无需对工具本身进行代码更改即可应用这些优化。
• 学习循环 (Learning Loop)：使用 kNN 路由器和 Bandit 系统，根据实际流量结果校准路由阈值。

适用对象

使用 AI 编程助手（Cursor、Claude Code、Codex、Cline、Continue）的开发者，他们希望降低 API 成本、最大化订阅限制，并能与云端提供商协同使用本地模型（通过 Ollama、llama.cpp 等）。

亮点

• 显著的 Token 减少：JSON 工具结果的 Token 减少高达 84%，工具密集型请求的 Token 减少 53%。
• 广泛的供应商支持：兼容 13 多个供应商，包括 Ollama 等本地选项以及 AWS Bedrock、Azure 和 OpenAI 等云服务。
• 零代码更改：通过覆盖工具设置中的 base URL 即可实现集成。
• 实时仪表板：内置遥测功能，用于跟踪支出、节省金额和路由准确性。
• 高级代码智能：可选集成 Graphify，通过基于 AST 的结构化代码分析来改进路由决策。