kendryte/nncase

What it solves

nncase 是一个用于优化和部署 AI 模型在 AI 加速器上的神经网络编译器，专门针对 K210、K510 和 K230 等芯片。它填补了高阶模型格式与这些模型在专用硬件上高效执行之间的鸿沟。

How it works

该编译器接收来自 TFLite、Caffe 和 ONNX 等常见格式的模型，并将其编译成针对目标 AI 加速器优化的格式。它采用了多种优化技术：

• Operator Fusion: 合并多个算子以减少开销。
• Memory Management: 使用静态内存分配来避免运行时获取堆内存。
• Inference Support: 支持 float 和量化 uint8 推论，包括使用校准数据集进行训练后量化。
• Zero-Copy Loading: 使用扁平化模型格式，允许模型在加载时无需复制数据。

Who it’s for

需要为图像分类、目标检测、姿态估计和图像分割编译并部署优化神经网络的 AI 加速器 (K210, K510, K230) 开发人员和工程师。

Highlights

• Multi-Format Support: 支持 TFLite, Caffe, 和 ONNX 算子。
• Hardware Optimization: 专门针对 K210, K510, 和 K230 加速器进行了优化。
• Efficient Memory: 使用静态内存分配和零复制加载。
• Versatile Inference: 支持 float 和量化 uint8 推论。