casys-kaist/LLMServingSim

解決する課題

LLMServingSim は、大規模言語モデル (LLM) サービングシステムが複雑な異種ハードウェア上でどのように動作するかを予測する難しさを解決します。研究者やエンジニアは、物理的なインフラを構築することなく、ハードウェア構成、メモリアーキテクチャ、並列化戦略が推論のレイテンシやスループットに与える影響をシミュレートできます。

仕組み

このツールは、3つの主要コンポーネントを組み合わせたサイクルレベルシミュレーターとして機能します。vLLM の連続バッチングスケジューラを模倣した Python ベースのフロントエンド、通信をモデル化する分析ネットワークバックエンド (ASTRA-Sim)、そして実際のハードウェアからレイテンシデータを取得するレイヤーごとのプロファイラーです。これらを統合することで、MoE (Mixture of Experts) ルーティング、投機的デコード、および多様なハードウェア設定におけるさまざまな並列化技術 (TP, PP, EP, DP) といった複雑なシナリオをモデル化できます。

対象ユーザー

このツールは、LLM 推論の最適化、データセンターのリソース計画、および高性能なサービングスタックの開発に取り組むシステム研究者、ハードウェアアーキテクト、インフラエンジニア向けに設計されています。

ハイライト

• LLM サービングインフラのサイクルレベルシミュレーション。
• 異種ハードウェアおよび分離型メモリ階層 (CPU, CXL, PIM) をサポート。
• 実際の vLLM ベンチマークに対して検証済みで、高い精度を実現 (例: RTX 4090 プロファイルで 1% 以内の誤差)。
• MoE ルーティング、投機的デコード、マルチインスタンス並列化 (TP/PP/EP/DP) を含む高度なサービング技術をモデル化。