casys-kaist/LLMServingSim

解决的问题

LLMServingSim 解决了预测大语言模型 (LLM) 服务系统在复杂异构硬件上表现的难题。它允许研究人员和工程师在无需构建物理基础设施的情况下，模拟不同的硬件配置、内存架构和并行策略如何影响推理延迟和吞吐量。

工作原理

它作为一个周期级模拟器运行，结合了三个主要组件：一个模仿 vLLM 中连续批处理调度器的 Python 前端、一个建模通信的分析网络后端 (ASTRA-Sim)，以及一个从真实硬件捕获延迟数据的逐层分析器。通过集成这些组件，该模拟器可以对 MoE (Mixture of Experts) 路由、投机采样以及跨不同硬件设置的各种并行技术 (TP, PP, EP, DP) 等复杂场景进行建模。

适用人群

该工具专为系统研究人员、硬件架构师和基础设施工程师设计，适用于 LLM 推理优化、数据中心资源规划以及高性能服务栈的开发。

主要亮点

• LLM 服务基础设施的周期级模拟。
• 支持异构硬件和存算分离层级 (CPU, CXL, PIM)。
• 针对真实世界的 vLLM 基准测试进行了验证，具有高准确性 (例如，RTX 4090 配置文件的误差在 1% 以内)。
• 建模先进的服务技术，包括 MoE 路由、投机采样和多实例并行 (TP/PP/EP/DP)。