LMCache/LMCache

解決する課題

LMCache は、Key-Value (KV) キャッシュを永続的で再利用可能なリソースとして管理することで、LLM 推論に伴う高いメモリと計算コストに対処します。このキャッシュを GPU メモリから他のストレージ階層にオフロードし、異なる推論エンジンやセッション間での共有を可能にすることで、特に長いコンテキスト、RAG、エージェント型ワークロードにおいて、最初のトークンまでの時間 (TTFT) を大幅に短縮し、システム全体のスループットを向上させます。

仕組み

LMCache は、推論エンジンと並行して動作するスタンドアロンのデーモンプロセスとして動作します。KV キャッシュをインターセプトして管理し、CPU RAM、ローカル SSD、または Redis や S3 などのリモートバックエンドを含む階層構造に保存できるようにします。推論エンジンから分離されているため、エンジンがクラッシュしてもキャッシュは永続化されます。非プレフィックスキャッシュ再利用（プロンプト内の任意の位置にあるブロックを再利用）などの高度な機能をサポートし、圧縮やカスタムシリアライゼーションなどの KV 変換のためのプラグ可能なインターフェースを提供します。

対象読者

このプロジェクトは、高性能でスケーラブルな LLM サービスシステムを構築するインフラエンジニア、MLOps 実践者、研究者を対象としており、本番環境でのメモリ使用量の最適化とレイテンシの削減が必要です。

ハイライト

• エンジン非依存: KV キャッシュ管理を推論エンジンから分離し、エンジンクラッシュ時のデータ損失を防ぎます。
• 階層ストレージ: KV キャッシュを CPU メモリ、ローカルディスク、リモートストレージバックエンド（Redis、S3 など）にオフロードすることをサポートします。
• 可観測性: トークンおよびリクエストレベルで、キャッシュヒット、ライフサイクル、パフォーマンスを監視するための包括的なメトリクスを提供します。
• 柔軟な統合: さまざまなハードウェアとサービングフレームワークで動作するベンダー中立の設計で、高速キャッシュ転送のための NVLink と RDMA のサポートを含みます。