tvm: an open machine learning compilation framework for universal model deployment and joint optimization

What it solves

Apache TVM 是一个开源机器学习编译框架，旨在提高 ML 编译器的易用性。它解决了在各种硬件上将模型部署为最小可部署模块的问题，同时允许开发者通过 Python-first 方法自定义编译器流水线。

How it works

TVM 使用跨层级设计，其特点是使用 TensorIR 进行张量级表示，并使用 Relax 进行图级表示。这使得框架能够联合优化计算图、张量程序和库。它被设计为构建特定领域（如 LLMs）垂直编译器的基础架构。

Who it’s for

它适用于需要在不同硬件目标上优化和部署机器学习模型的开发者和研究人员，以及构建 AI 领域特定编译器的开发者。

Highlights

• Python-first 开发，可快速自定义编译器流水线。
• 通用部署能力，可创建最小可部署模块。
• 跨层级表示（TensorIR 和 Relax）用于联合优化。
• 作为构建 LLMs 等领域垂直编译器的基础。