InfiniTensor/InfiniTensor

What it solves

InfiniTensor は、GPU および AI アクセラレータ向けの高性能インファレンスエンジンを提供するために設計されており、AI モデルの展開プロセスと、新しい最適化手法の学術的な検証プロセスを簡化します。

How it works

AI モデル実行のバックエンドとして機能し、NVIDIA GPUs、Cambricon MLUs、Kunlunxin XPUs、Ascend NPUs、Intel CPU などの幅広いハードウェアターゲットをサポートします。このプロジェクトは、PET ( partially equivalent transformations を使用) のようなテンソルプログラム最適化器を統合しており、RefactorGraph という新しいフレームワーク設計への移行を進めています。

Who it's for

主に、多様なハードウェアアクセラレータ上で AI モデルのインファレンスを最適化する必要がある研究者や開発者向けです。

Highlights

• GPU および AI アクセラレータに特化した高性能インファレンスエンジン。
• NVIDIA、Cambricon、Kunlunxin、Ascend、Intel を含む幅広いハードウェアサポート。
• PET のようなテンソルプログラム最適化器との統合。
• アクセスしやすさを向上させるための Python frontend。