tenstorrent/tt-mlir

Tenstorrent MLIR compiler

解决的问题

为 Tenstorrent 的定制 AI 硬件(如 Wormhole 和 Blackhole)提供专门的机器学习模型编译与优化方法,确保高级模型能够高效地转换为硬件优化的二进制文件。

工作原理

基于 LLVM 的 MLIR(多级中间表示)编译器基础设施构建,tt-mlir 定义了自定义方言和转换流程。它将来自前端方言(如 StableHLO)的模型转换为针对 TTNN(Tenstorrent 神经网络)后端的目标二进制文件。

适用人群

需要在 Tenstorrent AI 加速器上部署优化机器学习模型的开发者和工程师。

主要亮点

  • 广泛支持:专为支持多种 AI 工作负载(包括训练)而设计。
  • 可扩展性:包含用于在多芯片系统上扩展模型的一流原语。
  • 高性能:专注于为 AI 模型提供开箱即用的高性能表现。
  • 开源:整个开发过程完全公开。

相关

  • 项目
  • 项目
  • 项目
  • 项目