rednote-machine-learning/RedKnot

Efficient Long-Context LLM Serving with Head-Aware KV Reuse and SegPagedAttention

解決する課題

RedKnotは、長文脈で大規模言語モデル（LLM）をサービングする際に伴う高い計算コストとメモリコストの問題に対処します。特に、モデルの品質を大幅に犠牲にすることなく、Time to First Token（TTFT）の短縮と算術計算オーバーヘッドの削減を目的としています。

RedKnotは、以下の3つの主要なメカニズムを組み合わせたモデル認識型実行フレームワークです。

ヘッド分解と集約 (Head Decomposition and Aggregation)：長文脈における挙動に基づいてアテンションヘッドを分類します。ローカルヘッドは再利用のためにオフラインで準備され、グローバルヘッド、リトリーバルヘッド、リカバリーヘッドはオンラインのまま維持され、その寄与分がモデルにマージされます。
スパースFFNおよびMoE実行 (Sparse FFN and MoE Execution)：トークンレベルの重要度を使用して、どの行がフィードフォワードネットワーク（FFN）の計算に入るかを決定し、Mixture-of-Experts（MoE）モデルに対しては適応型エキスパートTop-K選択を採用し、必要な場合にのみより多くのエキスパートを割り当てます。
SegPagedAttention：ヘッドおよびセグメントごとにKVページと可視性を整理し、異なるタイプのヘッド（グローバル、ローカル、リトリーバル）が統一されたキャッシュレイアウトを必要とせずに、異なる文脈範囲を消費できるようにします。

DeepSeek V4、Mistral、Qwen、Llamaなどの長文脈LLMをデプロイし、ハイエンドGPUハードウェア（NVIDIA H200/B300など）上で推論速度と計算効率を最適化する必要がある開発者や研究者を対象としています。

大幅なパフォーマンス向上：ホットステートにおけるTTFTの2〜5倍の高速化と、算術計算の70〜90%削減を目指します。
最小限の品質低下：品質の低下を1パーセントポイント以内に抑えることを目指しています。
幅広いモデルサポート：DeepSeek V4 Flash、Mistral、Qwen3、Qwen3.5 MoE、Llama 3.3のアダプターとベンチマークが含まれています。
SGLang統合：SGLangをベースに構築されており、現在コアコードをvLLMへ移行中です。