microsoft/vattention

関連

• プロジェクト
  ovg-project/kvcached

  kvcached は、LLMサービングエンジン（vLLM、SGLang）に仮想メモリスタイルのエラスティックKVキャッシュ管理を追加するオープンソースのPythonライブラリです。複数のモデルがGPUを共有し、リクエストが必要なときにのみキャッシュメモリを割り当てることで、利用効率の向上、最初のトークンまでの遅延の低減、およびサービングコストの削減を実現します。主な機能には動的割り当て、メモリ制限用CLI、プレフィックスキャッシュ、ルーター/スリープモード、パイプライン並列モデル対応が含まれます。pipまたはDocker経由でインストールでき、環境変数で有効化し、既存のSGLang/vLLM環境に統合可能です。Apache 2.0ライセンスで、主要テック企業によって採用されています。

• プロジェクト
  ModelEngine-Group/unified-cache-management

  UCM (Unified Cache Manager) は、LLM 推論エンジンに共有 KV-cache 層を提供するオープンソースライブラリです。複数のリクエスト間でアテンションキャッシュを再利用し、キャッシュを外部ストレージに退避させてアクセラレータメモリを拡張できるほか、プラグイン可能なエンジンアダプターとストレージバックエンドを提供します。チャットボットサーバー、マルチモーダルパイプライン、および同じコンテキストに繰り返しアクセスするワークロードに最適です。

• プロジェクト
  vllm-project/vllm

  vLLM は、大規模言語モデルの高スループット・低レイテンシーなサービングのためのオープンソースライブラリです。効率的な KV キャッシュ処理のための PagedAttention を導入し、多くの量子化形式をサポートし、高速アテンションカーネルを統合し、GPU、CPU、その他のアクセラレータで動作する OpenAI 互換 API を提供します。

• プロジェクト
  flagos-ai/FlagAttention

  FlagAttentionは、Tritonベースのライブラリで、高速かつメモリ効率の高いAttentionカーネル（FlashAttention、区分的、ページング、スパース、量子化、再帰的など）を提供し、多くのアクセラレータでの大規模モデルの学習と推論をサポートします。安定した密行列演算子は本番環境で使用可能で、Alpha版ではKVキャッシュのページング、ブロック・スパース・デコーディング、INT8量子化などの実験的機能を提供します。

• Dispatch
  vLLM DeepSeek V4 サポート: 効率的な長文コンテキスト注意機構

  vLLM は現在、DeepSeek V4-Pro と V4-Flash をサポートし、新しいアテンション機構を実装してコンテキスト長を最大 100 万トークンまで拡張し、KV キャッシュのメモリを大幅に削減します。