meta-pytorch/tritonbench

Tritonbench is a collection of PyTorch custom operators with example inputs to measure their performance.

What it solves

TritonBench は、Triton と PyTorch の統合パフォーマンスを評価するための標準化された方法を提供し、オペレーターがハードウェア上で効率的に動作していることを保証します。

How it works

ベンチマークスイートとして実行可能な PyTorch オペレーターのコレクションです。Flash-Attention、FBGEMM、Liger-Kernel を含む様々なソースからのカーネルを統合し、特定の操作(例:GEMM)の実行速度とパフォーマンスを測定します。

Who it’s for

GPU カーネルとオペレーターのパフォーマンスをベンチマークする必要がある、Triton と PyTorch を使用する開発者や研究者です。

Highlights

  • 統合されたサブモジュールを介して幅広いオペレーターをサポートします。
  • スタンドアロンのコマンドラインツールとして、またはカスタムスクリプト用のライブラリとしてインストールして使用できます。
  • CUTLASS や Flash-Attention などの複数のバックエンドプロジェクトと統合されています。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • Dispatch