kendryte/nncase

What it solves

nncase は、AI アクセラレータ上で AI モデルを最適化およびデプロイするために設計されたニューラルネットワークコンパイラです。特に K210、K510、および K230 チップをターゲットとしています。高レベルのモデル形式と、これらのモデルを専用ハードウェア上で効率的に実行するための橋渡しをします。

How it works

このコンパイラは、TFLite、Caffe、および ONNX 形式の一般的なモデルを受け取り、ターゲット AI アクセラレータ向けに最適化された形式にコンパイルします。以下のよう several optimization techniques を用いています：

• Operator Fusion: 複数の操作を単一のステップに結合してオーバーヘッドを削減します。
• Memory Management: 静的メモリ割り当てを使用して、実行時のヒープメモリ確保を回避します。
• Inference Support: 浮動小数点数および量子化 uint8 推論の両方をサポートしています。これには、キャリブレーションデータセットを使用した学習後量子化も含まれます。
• Zero-Copy Loading: フラットなモデル形式を使用することで、データのコピーなしでモデルをロードできます。

Who it’s for

画像分類、物体検出、姿勢推定、および画像セグメンテーションのために、最適化されたニューラルネットワークをコンパイルおよびデプロイするために K210、K510、および K230 の AI アクセラレータを使用する開発者やエンジ師です。

Highlights

• Multi-Format Support: TFLite、Caffe、および ONNX 演算子をサポートしています。
• Hardware Optimization: K210、K510、および K230 アクセラレータに特化して最適化されています。
• Efficient Memory: 静的メモリ割り当てとゼロコピーロードを使用します。
• Versatile Inference: float および量子化 uint8 推論の両方をサポートしています。