mirage-project/mirage

解决的问题

Mirage Persistent Kernel (MPK) 解决了多 GPU LLM 推理相关的延迟问题。通过消除多次内核启动和 GPU 间通信的开销，将推理延迟降低了 1.2 倍至 6.7 倍。

工作原理

MPK 是一个编译器和运行时系统，可将 LLM 推理转换为单一的「巨内核」——一个融合了所有计算和通信的 GPU 内核，仅需一次启动即可完成。用户通过串联融合操作（例如将 RMSNorm 和 Linear 层合并）并指定张量分配来定义计算图。系统随后将此图编译为高性能、持久的内核，在 GPU 上执行。

适用人群

致力于 LLM 推理优化的开发者和研究人员，特别是那些希望在使用 CUDA 和 PyTorch 的多 GPU 环境中降低延迟的用户。

主要亮点

• 端到端 GPU 融合：将所有必要的计算和通信融合为一次内核启动。
• 显著降低延迟：相比原生 Triton 和 FlashInfer 内核，实现 1.2 倍至 6.7 倍的加速。
• 自动转换：可自动将 Hugging Face 模型库中的模型转换为巨内核。
• 集成性能分析：包含工具，用于可视化巨内核中每个任务的执行时间线。