InfiniTensor/InfiniTensor

What it solves

InfiniTensor 是為 GPU 和 AI 加速器設計的高性能推理引擎，旨在簡化 AI 模型部署以及對新優化技術進行學術驗證的過程。

How it works

它作為 AI 模型執行的後端，支持包括 NVIDIA GPUs、Cambricon MLUs、Kunlunxin XPUs、Ascend NPUs 和 Intel CPUs 在內的廣泛硬體目標。該項目集成了像 PET（使用部分等價轉換）這樣的張量程序優化器，並正朝著名為 RefactorGraph 的新框架設計邁進。

Who it's for

它主要針對需要在各種硬體加速器上優化 AI 模型推理的研究人員和開發人員。

Highlights

• 高性能推理引擎，專為 GPU 和 AI 加速器量身定制。
• 廣泛的硬體支持，包括 NVIDIA、Cambricon、Kunlunxin、Ascend 和 Intel。
• 集成了像 PET 這樣的張量程序優化器。
• 提供 Python frontend 以便於使用。