kvmem/kvmem

解決する課題

KVMemは、限られたGPUワーキングセット内で会話履歴やエージェントツールデータを管理することで、長文脈AIアプリケーションにおけるメモリのボトルネックを解消します。GPU VRAM、システムRAM、SSDストレージ間でKV (Key-Value) キャッシュデータをインテリジェントにオフロードおよび取得することで、膨大なコンテキストウィンドウ（例：200K+ tokens）を持つ大規模モデルの実行を可能にします。

仕組み

KVMemは、llama.cppやNInferといった推論エンジンの管理レイヤーとして機能します。アクティブな履歴はGPU上に保持し、アイドル状態や関連性の低い履歴はホストRAMやSSDに移動させる階層型メモリ・アーキテクチャを実装しています。LRFU (Least Recently Frequently Used) 重み付けを使用して、どの会話部分を高速メモリに保持するかを決定します。モデルが長い会話の古い部分を参照する必要がある場合、KVMemはコンテキストの完全な再計算を必要とせずに、必要なデータをGPUに呼び戻します。

対象ユーザー

本プロジェクトは、コンシューマー向けNVIDIAハードウェア（RTX 20/30/40/50シリーズ）でローカルLLMを実行しており、グラフィックスカードのVRAM容量を超える長時間の実行セッションや大規模なドキュメント分析タスクを維持する必要がある開発者やパワーユーザーを対象としています。

ハイライト

• 階層型メモリ管理: KVキャッシュをGPU、RAM、SSD間で自動的に移動させ、コンテキスト容量を最大化します。
• マルチバックエンド対応: llama.cppおよびNInfer推論エンジンの両方に統合管理を提供します。
• ツールとエージェントの最適化: ツール呼び出し、厳格なスキーマ制約、マルチターン状態復元を含む複雑なエージェントワークフローをサポートします。
• ハードウェア固有のチューニング: さまざまなNVIDIA GPUアーキテクチャ（sm70からsm120a）向けの専用Windowsパッケージとランチャーが含まれています。
• パフォーマンス重視: 適応型MTP (Multi-Token Prediction)、ngramアクセラレーション、設定可能なプリフィル・チャンキング機能を備え、長文脈生成中も高いトークン毎秒レートを維持します。