iree-org/iree

A retargetable MLIR-based machine learning compiler and runtime toolkit.

解决的问题

IREE 简化了在各种硬件上部署机器学习模型的过程。它解决了将机器学习模型高效地扩展到从大型数据中心到资源受限的移动和边缘设备的挑战。

工作原理

IREE 是基于 MLIR（多级中间表示）的端到端编译器和运行时。它通过将机器学习模型降低为统一的中间表示（IR），从而可以在不同的硬件目标上进行优化和执行。

适用人群

专为需要将机器学习模型部署到各种硬件环境（包括数据中心、移动设备和边缘部署）的开发人员和工程师设计。

主要亮点

  • 基于 MLIR 的编译器和运行时架构。
  • 用于跨平台部署的统一 IR。
  • 支持从数据中心规模到移动和边缘约束的扩展。
  • LF AI & Data Foundation 的一部分。

相关

  • 项目
    buddy-compiler/buddy-mlir

    Buddy MLIR 是一个基于 MLIR 的编译器框架，用于协同设计 AI 模型和定制硬件。它允许你将 DeepSeek、Whisper 和 Qwen3‑VL 等模型编译为可移植的 `.rax` 二进制文件，并通过一个轻量级 CLI 运行时在 CPU、RISC‑V 或 GPU 上运行它们。

  • 项目
    google/heir

    一个基于 MLIR 的同态加密编译器工具链，允许开发人员编写加密计算并将其部署到多个 HE 库和方案中。

  • 项目
    sophgo/tpu-mlir

    一个基于 MLIR 的机器学习编译器，可将 PyTorch 和 ONNX 等框架中的预训练神经网络转换为适用于 TPU 执行的优化 bmodel 文件。

  • 项目
    NVIDIA/cuda-tile

    CUDA Tile IR 是 NVIDIA 开发的基于 MLIR 的编译器基础设施，引入了专用于分块导向 CUDA 内核的方言。它提供 C++ 和 Python API、二进制字节码格式，以及将 MLIR 转换为字节码或 cubin 的工具，支持针对 NVIDIA Tensor-Core 单元的高性能内核。该项目基于 LLVM/MLIR，与 CUDA Toolkit 13.1 对齐，并包含一致性测试套件。这是一个真正的 AI 相关编译器项目，而非教程或列表。

  • 项目
    llvm/torch-mlir

    一个为 PyTorch 生态系统与 MLIR 之间提供标准化桥梁的编译器项目，简化了硬件厂商将 PyTorch 模型部署到目标硬件的过程。