Fast-Editor/Lynkr

何を解決するか

Lynkrは、AIコーディングツールのトークンコストと遅延を削減することを目的としたLLMゲートウェイです。ユーザーが特定のプロバイダーに縛られることを防ぎ、ツールが非効率な生のトークンストリームを送信することを阻止することで、高額な請求やサブスクリプション容量の無駄遣いを防ぎます。

動作方法

LynkrはAIツール（Cursor、Claude Code、Codexなど）とLLMプロバイダーの間のプロキシとして機能します。複数のメカニズムを通じてトラフィックを最適化します：

• ティアルーティング：複雑さ（シンプル、ミディアム、複雑、推論）に応じてリクエストを異なるモデルに自動的にルーティング。シンプルなタスクは安価なローカルモデルに、複雑なタスクは強力なクラウドモデルにエスカレート。
• トークン圧縮：TOON/RTK圧縮を使用して、大きなJSONツール結果（例：grepやファイル読み取り）のトークンを最大84％削減。
• 意味的キャッシュ：繰り返しのクエリを保存し、300ms未満でゼロ課金トークンで提供。
• ラップモード：AIコーディングアシスタントがルーティングや圧縮機能を利用できるようにするが、アシスタント自体のコード変更は不要。
• 学習ループ：kNNルーターとバンディットシステムを使用して、実際のトラフィック結果に基づいてルーティング閾値を調整。

対象ユーザー

APIコストを下げたい、Ollamaやllama.cppを介してローカルモデルを利用したい、サブスクリプションの利用を最適化したい開発者（Cursor、Claude Code、Codex、Cline、Continueなど）。

主な特徴

• マルチプロバイダー対応：Ollama、OpenAI、Azure、AWS Bedrock、DeepSeekなど14以上のプロバイダーと互換性あり。
• コード変更ゼロ：既存ツールでのベースURLオーバーライドで統合可能。
• リアルタイムダッシュボード：支出、節約額、ルーティング精度、プロバイダーの健全性を追跡するための組み込みテレメトリ。
• ストリーミング対応：SSEストリーミングのネイティブパススルーとフォーマット間変換をサポート。
• オプションのコードインテリジェンス：Graphifyと統合し、ASTベースの複雑度スコアリングによりルーティング判断を改善。