apache/tvm

Open Machine Learning Compiler Framework

What it solves

Apache TVM 是一個開源機器學習編譯框架，旨在讓機器學習編譯器變得易於使用。它解決了在各種硬體上將模型部署為最小化可部署模組的問題，同時允許開發者透過 Python-first 方法來客製化編譯器管線。

How it works

TVM 使用跨層級設計，其特點是使用 TensorIR 進行張量級別表示，並使用 Relax 進行圖級別表示。這使得框架能夠共同優化計算圖、張量程式與函式庫。它被設計為構建特定領域（例如 LLMs）垂直編譯器的基礎基礎設施。

Who it’s for

它適用於需要在不同硬體目標上優化與部署機器學習模型的開發者與研究人員，以及正在構建 AI 領域特定編譯器的開發者。

Highlights

  • Python-first 開發，可快速客製化編譯器管線。
  • 通用的部署能力，可建立最小化的可部署模組。
  • 跨層級表示（TensorIR 與 Relax）以進行共同優化。
  • 作為構建 LLMs 等領域的垂直編譯器的基礎基礎設施。