apache/tvm
Open Machine Learning Compiler Framework
What it solves
Apache TVM은 머신러닝 컴파일러에 대한 접근성을 높이기 위해 설계된 오픈 소스 머신러닝 컴파일 프레임워크입니다. 다양한 하드웨어에서 모델을 최소한의 배포 가능한 모듈로 배포하는 문제를 해결하며, 동시에 개발자가 Python-first 방식을 통해 컴파일러 파이프라인을 사용자 정의할 수 있도록 합니다.
How it works
TVM은 텐서 레벨 표현을 위한 TensorIR과 그래프 레벨 표현을 위한 Relax를 특징으로 하는 크로스 레벨 설계를 사용합니다. 이를 통해 프레임워크는 계산 그래프, 텐서 프로그램, 라이브러리를 공동으로 최적화할 수 있습니다. LLM과 같은 특정 도메인에 특화된 수직적 컴파일러를 구축하기 위한 기반 인프라로 설계되었습니다.
Who it’s for
다양한 하드웨어 타겟에 걸쳐 머신러닝 모델을 최습니다화하고 배포해야 하는 개발자와 연구자, 그리고 AI를 위한 도메인 특화 컴파일러를 구축하는 사람들을 대상으로 합니다.
Highlights
- Python-first 개발로 컴파일러 파이프라인을 빠르게 사용자 정의할 수 있습니다.
- 최소한의 배포 가능한 모듈을 생성하기 위한 범용적인 배포 능력을 갖추고 있습니다.
- TensorIR과 Relax를 통한 크로스 레벨 표현으로 공동 최적화를 수행합니다.
- LLM과 같은 도메인을 위한 수직적 컴파일러를 구축하기 위한 기반으로 기능합니다.