iree-org/iree
A retargetable MLIR-based machine learning compiler and runtime toolkit.
해결하는 문제
IREE는 다양한 하드웨어에서 기계학습 모델 배포를 단순화합니다. 대규모 데이터 센터부터 자원 제약이 있는 모바일 및 엣지 디바이스에 이르기까지 기계학습 모델을 효율적으로 작동시키는 문제를 해결합니다.
작동 방식
IREE는 MLIR(Multi-Level Intermediate Representation) 기반의 엔드투엔드 컴파일러 및 런타임입니다. ML 모델을 통합된 중간 표현(IR)으로 낮추어 다양한 하드웨어 타겟에서 최적화하고 실행할 수 있도록 합니다.
대상 사용자
데이터 센터, 모바일 장치, 엣지 배포를 포함한 다양한 하드웨어 환경에 ML 모델을 배포해야 하는 개발자 및 엔지니어를 위한 것입니다.
주요 특징
- MLIR 기반의 컴파일러 및 런타임 아키텍처.
- 플랫폼 간 배포를 위한 통합 IR.
- 데이터 센터 규모에서 모바일 및 엣지 제약까지 확장 가능.
- LF AI & Data Foundation의 일부.
관련
- 프로젝트
buddy-compiler/buddy-mlirBuddy MLIR은 AI 모델과 맞춤형 하드웨어를 공동 설계하기 위한 MLIR 기반 컴파일러 프레임워크입니다. DeepSeek, Whisper, Qwen3‑VL과 같은 모델을 휴대용 `.rax` 바이너리로 컴파일하고, 작은 CLI 런타임을 사용하여 CPU, RISC‑V 또는 GPU에서 실행할 수 있습니다.
- 프로젝트
google/heir개발자가 암호화된 계산을 작성하고 이를 여러 HE 라이브러리 및 스킴에 배포할 수 있도록 지원하는 동형 암호용 MLIR 기반 컴파일러 툴체인입니다.
- 프로젝트
sophgo/tpu-mlirPyTorch 및 ONNX 등의 프레임워크에서 사전 훈련된 신경망을 TPU 실행을 위해 최적화된 `bmodel` 파일로 변환하는 MLIR 기반 머신러닝 컴파일러입니다.
- 프로젝트
NVIDIA/cuda-tileCUDA Tile IR은 NVIDIA에서 개발한 MLIR 기반 컴파일러 인프라로, 타일 기반 CUDA 커널을 위한 전용 다이얼렉트를 도입합니다. C++ 및 Python API, 바이너리 바이트코드 형식, MLIR에서 바이트코드 또는 cubin으로의 변환 도구를 제공하여 NVIDIA Tensor-Core 유닛을 타겟으로 하는 고성능 커널을 가능하게 합니다. 이 프로젝트는 LLVM/MLIR 기반으로 CUDA Toolkit 13.1과 호환되며, 컨플라이언스 테스트 스위트를 포함합니다. 이는 튜토리얼이나 목록이 아니라 진정한 AI 관련 컴파일러 프로젝트입니다.
- 프로젝트
llvm/torch-mlirPyTorch 생태계에서 MLIR로의 표준화된 브리지 역할을 하는 컴파일러 프로젝트로, 하드웨어 벤더가 PyTorch 모델을 타겟 하드웨어에 배포하는 방식을 단순화합니다.