LightLLM: トークンレベルのKVキャッシュ管理を備えた軽量なPythonベースの推論およびサービングフレームワーク

何を解決するか

LightLLMは、大規模言語モデル（LLM）を高速、スケーラブル、かつ効率的にデプロイするという課題に対処します。本フレームワークは、高いパフォーマンスを確保するために、本番環境でのモデルの実行方法を最適化する推論およびサービングのフレームワークを提供します。

仕組み

これは、vLLM、FlashAttention、およびFasterTransformerといった、いくつかの主要なオープンソース実装からの最適化を統合したPythonベースのフレームワークです。主な技術的特徴は以下の通りです：

• トークンレベルのKVキャッシュ管理: 生成中の効率的なメモリ処理を可能にします。
• 高度なスケジューリング: サービスレベルアグリーメント（SLA）の保証を維持するために「Past-Future Scheduler」を実装しています。
• 制約付きデコーディング: 決定論的なプッシュダウンオートマトン（Pre $^3$）を使用して、構造化されたLLM生成を高速化します。
• Prefix KVキャッシュ転送: DP ranker間のキャッシュ転送をサポートし、効率を向上させます。

対象ユーザー

• 開発者およびエンジニア: H200 GPUなどのハードウェア上でLLM（DeepSeek-R1など）をデプロイするための、高性能なサービングフレームワークを探している方。
• AI研究者: 純粋なPython設計と粒度の細かいキャッシュ管理により、LLM推論に関する学術研究の柔軟なベースとして機能します。

ハイライト

• 高いパフォーマンス: 単一のH200マシン上で、DeepSeek-R1の最も高速なサービングパフォーマンスを実現すると主張しています。
• 研究に最適: 数多くの学術論文やプロジェクト（例：LoongServe, S-LoRA）の基盤として広く使用されています。
• SLA対応: 保証されたサービングパフォーマンスのために、特化されたリクエストスケジューラを含んでいます。
• 構造化生成: より高速な制約付きデコーディングに関する、受賞歴のある研究を特徴としています。