Lynk​r – トークンを節約し、コストを最適化するLLMゲートウェイ

概要

Lynkr は、Node.jsベースのプロキシで、開発者がローカル（またはコンテナ内）で実行し、AIコーディングツール（Claude Code、Cursor、Codexなど）と利用する大規模言語モデルプロバイダーの間に配置します。 自動的に次の3つのことを行います。

1. JSONペイロードの圧縮 – 大きなツール呼び出し結果は、モデルに送信される前に約84%縮小されます。
2. 意味的に類似するリクエストのキャッシュ – キャッシュヒットは、<300ミリ秒でキャッシュされた回答を返し、トークンコストはゼロです。
3. 各リクエストを最も安価で十分なモデルにルーティング – 小さな「ティア」ルーターが、クエリが無料のローカルモデル（Ollama、llama.cpp、LM Studio）で回答できるか、それとも有料のクラウドプロバイダー（OpenAI、Anthropic、Azureなど）にエスカレーションする必要があるかを決定します。

これらはすべて、クライアントのコード変更なしで機能します。クライアントを http://localhost:8081/v1 にポイントするか（またはClaude Code用に提供されている wrap コマンドを使用）、lynkr wrap コマンドを使用するだけです。

---

対象ユーザー

ユースケース	Lynkrが役立つ理由
個人開発者 – 日常的な編集にはローカルモデルを使用するが、難しい問題には有料モデルへのアクセスを時々必要とする。	トークン使用量を50%以上削減し、サブスクリプションのクレジットを本当に必要なタスクに温存できる。
混合スタックを持つチーム（一部はオンプレミスモデル、一部はAzure/OpenAI）	サポートされている14以上のプロバイダーのいずれかに転送できる単一のエンドポイントを提供し、支出と節約のダッシュボードを表示する。
CI/CDまたは自動コードレビューボット – LLMを何度も呼び出す。	セマンティックキャッシュが繰り返しの呼び出しを排除し、ティアルーティングが安価なモデルの過負荷を防ぐ。

---

コア機能（READMEに記載）

機能	説明	報告される利点
JSON圧縮（RTK/TOON）	未使用フィールドを削除し、モデルに送信する前に大きなツール出力ブロブを圧縮します。	JSONを多用するツール結果で84%のトークン削減。
セマンティックキャッシュ	最近のリクエストの埋め込みを保存します。ほぼ重複するクエリはキャッシュから<300ミリ秒で回答され、トークンは請求されません。	0トークンのキャッシュヒット。レイテンシが数秒からミリ秒に短縮。
ティアルーティング	4つの設定可能なティア（SIMPLE、MEDIUM、COMPLEX、REASONING）。k-NN + バンディットルーターが、リクエストを処理できる最も安価なティアを決定し、毎晩自動較正されます。	ツールを多用する呼び出しで53%のトークン削減。高価なティアへのヒットは最大15倍削減。
ラップモード	一行ラッパー（lynkr wrap claude）で、ツールの設定を変更せずにClaude Code、Copilot、Cursorなどにゲートウェイを注入します。	コード変更ゼロ。スティッキーセッションにより、会話中は同じモデルを維持し、本当に容量を超えた場合のみ変更。
リアルタイムSSEストリーミング	すでにストリーミングしているプロバイダーにはパススルー。それ以外の場合は、OpenAIスタイルのストリームをAnthropicスタイルのイベントに変換します。	複数のバックエンドを経由しても、トークン単位の出力を継続。
ダッシュボード	http://localhost:8081/dashboard で、支出、ティア構成、ルーティング精度、ログ、各プロバイダーの健全性、実行可能な洞察を表示します。	どこでお金が節約され、ルーティングをどこで改善できるかを可視化。
オプションのGraphifyコード分析	RustベースのAST分析（19言語）で、よりリッチな複雑性スコアをルーターに提供できます。	コードを多用するワークロードでのティア決定の精度が向上。
本番環境用ノブ	レート制限、ポリシーバジェット、負荷分散、メモリキャッシュ、管理者ホットリロードなど。	ゲートウェイをCIまたは長期実行サーバーで使用可能にします。

---

はじめに（READMEのクイックスタート）

1. インストール – npm install -g lynkr（またはHomebrew、Docker、ワンライナースクリプト）。
2. ウィザードを実行 – lynkr init が選択したプロバイダーとティア定義を含む .env を作成します。
3. サービスを開始 – lynkr start（localhost:8081 でリッスン）。
4. ツールをポイント – 例：CursorでモデルURLを http://localhost:8081/v1 に設定し、任意のAPIキー値を設定します。
5. オプション – lynkr wrap claude でClaude Codeを自動的にラップします。

---

制限事項と未解決ポイント（READMEより）

• ゲートウェイは上流プロバイダーの価格データに依存します。不明なモデルは、上書きを提供しない限り cost_usd=null として記録されます。
• 一部の高度な機能（Graphify、負荷分散、メモリシステム）は、追加のインストール手順（Rustツールチェーン、追加の環境変数）が必要です。
• ベンチマークはLiteLLMとRouterArenaに対して提示されています。実際の節約は、独自のトラフィックパターンとモデルの選択によって異なります。
• サービスはNode 20+で書かれているため、最近のランタイムと大規模なローカルモデル用の十分なRAMが必要です。

---

結論

Lynkrは、実際の本番環境に対応したゲートウェイであり、開発者が無料のローカルLLMと有料のクラウドAPIを組み合わせ、ペイロードを自動的に圧縮し、繰り返しのクエリをキャッシュし、各リクエストを処理できる最も安価なティアにルーティングできます。 READMEには、詳細なインストール、構成、ベンチマーク情報が含まれており、AI推論/エージェントツール分野における本格的なオープンソースプロジェクトです。