triton-lang/triton

Development repository for the Triton language and compiler

解决的问题

Triton 解决了编写高度高效自定义深度学习原语的困难。其目标是提供一种比 CUDA 更高生产力、比其他现有领域特定语言(DSL)更具灵活性的方式来编写高性能 GPU 代码。

工作原理

Triton 是一种语言和编译器,允许开发者定义分块的神经网络计算。它使用 LLVM 为 GPU(NVIDIA 和 AMD)和 CPU 生成优化代码,采用中间表示(IR),并重写了后端以使用 MLIR,从而提升性能和灵活性。

适用人群

专为需要创建高性能自定义深度学习内核和原语,但又无需编写低级 CUDA 代码的开发者和研究人员设计。

主要亮点

  • 多硬件支持:兼容 NVIDIA GPU(计算能力 8.0+)、AMD GPU(ROCm 6.2+)和 CPU(开发中)。
  • 高生产力:相比 CUDA,提供更易用的高效代码编写环境。
  • 编译器驱动:利用 LLVM 和 MLIR 处理代码生成和优化的复杂性。
  • 解释器模式:包含 Triton 解释器,可在无 GPU 的情况下运行和调试内核。

相关

  • 项目
  • 项目
  • Dispatch
  • 项目
  • 项目