iree-org/iree
A retargetable MLIR-based machine learning compiler and runtime toolkit.
何を解決するか
IREEは、さまざまなハードウェア上で機械学習モデルのデプロイを簡素化します。大規模なデータセンターからリソース制約のあるモバイルおよびエッジデバイスまで、効率的に動作するようにMLモデルをスケーラブルにすることの課題に対処します。
仕組み
IREEはMLIR（Multi-Level Intermediate Representation）に基づくエンドツーエンドのコンパイラおよびランタイムです。MLモデルを一貫した中間表現（IR）に低レベル化し、その後、さまざまなハードウェアターゲット上で最適化および実行できるようにします。
対象ユーザー
データセンター、モバイルデバイス、エッジデプロイメントを含む多様なハードウェア環境にMLモデルをデプロイする必要がある開発者やエンジニア向けに設計されています。
特徴
- MLIRベースのコンパイラおよびランタイムアーキテクチャ。
- プラットフォーム間デプロイ用の統一IR。
- データセンター規模からモバイルおよびエッジの制約までスケーリング可能。
- LF AI & Data Foundationの一部。
関連
- プロジェクト
buddy-compiler/buddy-mlirBuddy MLIR は、AI モデルとカスタムハードウェアを共同設計するための MLIR ベースのコンパイラフレームワークです。DeepSeek、Whisper、Qwen3‑VL などのモデルをポータブルな `.rax` バイナリにコンパイルし、小さな CLI ランタイムを使用して CPU、RISC‑V、または GPU 上で実行できます。
- プロジェクト
google/heir準同型暗号のためのMLIRベースのコンパイラツールチェーンであり、開発者が暗号化された計算を記述し、複数のHEライブラリやスキームに展開することを可能にします。
- プロジェクト
sophgo/tpu-mlirPyTorch や ONNX などのフレームワークから事前に訓練されたニューラルネットワークを、TPU実行用に最適化された `bmodel` ファイルに変換する MLIR ベースの機械学習コンパイラ。
- プロジェクト
NVIDIA/cuda-tileCUDA Tile IRはNVIDIAが開発したMLIRベースのコンパイラインフラで、タイル指向のCUDAカーネル用に専用のダイアレクトを導入しています。C++およびPython API、バイナリバイトコード形式、MLIRからバイトコードまたはcubinへの変換ツールを提供し、NVIDIA Tensor-Coreユニットをターゲットとする高性能カーネルを実現します。このプロジェクトはLLVM/MLIRに基づき、CUDA Toolkit 13.1と整合しており、コンプライアンステストスイートを含んでいます。これはチュートリアルやリストではなく、本格的なAI関連のコンパイラプロジェクトです。
- プロジェクト
llvm/torch-mlirPyTorchエコシステムからMLIRへの標準化されたブリッジを提供するコンパイラプロジェクト。ハードウェアベンダーがPyTorchモデルをターゲットハードウェアにデプロイする方法を簡素化します。