tvm: ユニバーサルなモデルデプロイメントと共同最適化のためのオープンな機械学習コンパイルフレームワーク

何を解決するか

Apache TVMは、MLコンパイラへのアクセスを容易にするために設計されたオープンな機械学習コンパイルフレームワークです。開発者がPythonファーストのアプローチを通じてコンパイラパイプラインをカスタマイズできるようにしながら、さまざまなハードウェアにわたってモデルを最小限のデプロイ可能モジュールへとデプロイする問題を解決します。

仕組み

TVMは、テンソルレベルの表現であるTensorIRと、グラフレベルの表現であるRelaxを特徴とするクロスレベル設計を採用しています。これにより、フレームワークは計算グラフ、テンソルプログラム、およびライブラリを共同で最適化できます。これは、LLMのような特定のドメイン向けの垂直コンパイラを構築するための基盤となるインフラストラクチャとして設計されています。

対象者

異なるハードウェアターゲットにわたって機械学習モデルを最適化およびデプロイする必要がある開発者や研究者、およびAI向けのドメイン固有コンパイラを構築している人々を対象としています。

ハイライト

• コンパイラパイプラインを迅速にカスタマイズするためのPythonファーストの開発。
• 最小限のデプロイ可能モジュールを作成するためのユニバーサルなデプロイメント機能。
• 共同最適化のためのクロスレベル表現（TensorIRおよびRelax）。
• LLMのようなドメイン向けの垂直コンパイラを構築するための基盤として機能。