Fast-Editor/Lynkr

解決的問題

Lynkr 是一個旨在降低 AI 程式設計工具 Token 成本與延遲的 LLM 閘道器。它能防止使用者被單一供應商綁定，並防止工具發送未經優化的原始 Token，進而避免高額帳單與低效的模型使用。

工作原理

Lynkr 在 AI 工具（如 Cursor、Claude Code 或 Codex）與 LLM 供應商之間擔任代理角色。它透過以下機制優化流量：

• 分層路由 (Tier Routing)：利用 anchor-embedding 分類與本地 LLM 分類器分析請求複雜度，將簡單任務路由至廉價/本地模型，將複雜任務路由至強大的雲端模型。
• Token 壓縮 (Token Compression)：使用 TOON/RTK 壓縮技術，將大型 JSON 工具結果（例如 grep 或檔案讀取）的大小減少高達 84%。
• 語義快取 (Semantic Caching)：儲存相似查詢的響應，使其能在不消耗任何 Token 的情況下，於 300ms 內回應重複或改寫的請求。
• 封裝模式 (Wrap Mode)：可以封裝現有的 AI 程式設計助手，無需對工具本身進行程式碼更改即可套用這些優化。
• 學習迴圈 (Learning Loop)：使用 kNN 路由器與 Bandit 系統，根據實際流量結果校準路由閾值。

適用對象

使用 AI 程式設計助手（Cursor、Claude Code、Codex、Cline、Continue）的開發者，他們希望降低 API 成本、最大化訂閱限制，並能與雲端供應商協同使用本地模型（透過 Ollama、llama.cpp 等）。

亮點

• 顯著的 Token 減少：JSON 工具結果的 Token 減少高達 84%，工具密集型請求的 Token 減少 53%。
• 廣泛的供應商支援：相容 13 個以上的供應商，包括 Ollama 等本地選項以及 AWS Bedrock、Azure 與 OpenAI 等雲端服務。
• 零程式碼更改：透過覆蓋工具設定中的 base URL 即可實現整合。
• 即時儀表板：內建遙測功能，用於追蹤支出、節省金額與路由準確性。
• 進階程式碼智慧：可選擇整合 Graphify，透過基於 AST 的結構化程式碼分析來改進路由決策。