InfiniTensor/InfiniTensor

What it solves

InfiniTensor는 GPU 및 AI 가속기를 위한 고성능 추론 엔진을 제공하도록 설계되었으며, AI 모델 배포 프로세스와 새로운 최적화 기술에 대한 학술적 검증 과정을 단순화합니다.

How it works

AI 모델 실행을 위한 백엔드로 작동하며, NVIDIA GPUs, Cambricon MLUs, Kunlunxin XPUs, Ascend NPUs, Intel CPUs를 포함한 광범위한 하드웨어 타겟을 지원합니다. 이 프로젝트는 PET (partially equivalent transformations를 사용)와 같은 텐서 프로그램 최적화기를 통합하고 있으며, RefactorGraph라는 새로운 프레임워크 설계로 나아가고 있습니다.

Who it's for

주로 다양한 하드웨어 가속기에서 AI 모델 추론을 최적화해야 하는 연구자와 개발자를 대상으로 합니다.

Highlights

• GPU 및 AI 가속기에 맞춤화된 고성능 추론 엔진.
• NVIDIA, Cambricon, Kunlunxin, Ascend, Intel을 포함한 폭넓은 하드웨어 지원.
• PET와 같은 텐서 프로그램 최적화기 통합.
• 더 쉬운 접근성을 위한 Python frontend.