tvm: 범용 모델 배포 및 공동 최적화를 위한 오픈 머신러닝 컴파일 프레임워크

해결하는 문제

Apache TVM은 ML 컴파일러에 대한 접근성을 높이기 위해 설계된 오픈 머신러닝 컴파일 프레임워크입니다. 이 프레임워크는 개발자가 Python-first 방식을 통해 컴파일러 파이프라인을 맞춤 설정할 수 있도록 하면서, 다양한 하드웨어에 걸쳐 모델을 최소 배포 모듈로 배포하는 문제를 해결합니다.

작동 방식

TVM은 텐서 수준의 표현을 위한 TensorIR과 그래프 수준의 표현을 위한 Relax를 특징으로 하는 교차 레벨 설계를 사용합니다. 이를 통해 프레임워크는 계산 그래프, 텐서 프로그램 및 라이브러리를 공동으로 최적화할 수 있습니다. 또한 LLM과 같은 특정 도메인을 위한 수직적 컴파일러를 구축하기 위한 기초 인프라로 설계되었습니다.

대상 사용자

다양한 하드웨어 타겟에 걸쳐 머신러닝 모델을 최적화하고 배포해야 하는 개발자와 연구자, 그리고 AI를 위한 도메인 특화 컴파일러를 구축하는 사람들을 대상으로 합니다.

주요 특징

• 컴파일러 파이프라인의 빠른 맞춤 설정을 위한 Python-first 개발 방식.
• 최소 배포 모듈을 생성하기 위한 범용 배포 기능.
• 공동 최적화를 위한 교차 레벨 표현 (TensorIR 및 Relax).
• LLM과 같은 도메인을 위한 수직적 컴파일러 구축을 위한 기반 역할 수행.