apache/tvm

Open Machine Learning Compiler Framework

What it solves

Apache TVM 是一个开源机器学习编译框架，旨在让机器学习编译器变得易于使用。它解决了在各种硬件上将模型部署为最小化的可部署模块的问题，同时允许开发者通过 Python-first 方法来定制化编译器的流水线。

How it works

TVM 使用跨层级设计，其特点是使用 TensorIR 进行张量级表示，并使用 Relax 进行图级表示。它允许框架共同优化计算图、张量程序和库。它被设计为构建特定领域（例如 LLMs）垂直编译器的基础基础设施。

Who it’s for

它适用于需要跨不同硬件目标优化和部署机器学习模型的开发者和研究人员，以及正在构建 AI 领域特定编译器的开发者。

Highlights

Python-first 开发，可快速定制化编译器的流水线。
通用的部署能力，可创建最小化的可部署模块。
跨层级表示（TensorIR 和 Relax）用于共同优化。
作为构建 LLMs 等领域垂直编译器的基础基础设施。