Fast-Editor/Lynkr

解決的問題

Lynkr 是一個專為降低 AI 編碼工具的令牌成本與延遲而設計的 LLM 網關。它防止使用者被鎖定於單一供應商，並阻止工具傳送原始且低效的令牌串流，這通常會導致高額帳單與訂閱容量的浪費。

工作原理

Lynkr 作為 AI 工具（如 Cursor、Claude Code 或 Codex）與 LLM 供應商之間的代理。它透過多種機制優化流量：

• 分層路由：根據複雜度（簡單、中等、複雜、推理）自動將請求路由至不同模型。簡單任務交由便宜或本地模型處理，複雜任務則升級至強大的雲端模型。
• 令牌壓縮：使用 TOON/RTK 壓縮技術，將大型 JSON 工具結果（如 grep 或檔案讀取）的令牌數量減少高達 84%。
• 語意快取：儲存重複查詢，可在 300 毫秒內以零計費令牌提供回應。
• 封裝模式：讓 AI 編碼助手在不需修改自身程式碼的情況下使用路由與壓縮功能。
• 學習迴圈：使用 kNN 路由器與多臂賭徒系統，根據實際流量結果校準路由閾值。

適用對象

希望降低 API 成本、透過 Ollama 或 llama.cpp 使用本地模型，並優化訂閱使用效率的開發者（如 Cursor、Claude Code、Codex、Cline、Continue）。

主要亮點

• 多供應商支援：相容 14+ 個供應商，包括 Ollama、OpenAI、Azure、AWS Bedrock 和 DeepSeek。
• 零程式碼變更：透過現有工具中的基礎 URL 覆蓋即可整合。
• 即時儀表板：內建遙測功能，用於追蹤支出、節省金額、路由準確率與供應商健康狀態。
• 串流支援：原生支援 SSE 串流傳輸，並支援跨格式轉換。
• 可選程式碼智慧：可與 Graphify 集成，基於 AST 的複雜度評分以改善路由決策。