kendryte/nncase

What it solves

nncase 是一個專為優化與部署 AI 模型於 AI 加速器而設計的神經網路編譯器，特別針對 K210、K510 和 K230 等晶片。它填補了高階模型格式與這些模型在專用硬體上高效執行之間的差距。

How it works

該編譯器接收來自 TFLite、Caffe 和 ONNX 等常見格式的模型，並將其編譯成針對目標 AI 加速器優化的格式。它採用了多種優化技術：

• Operator Fusion: 合併多個運算以減少開銷。
• Memory Management: 使用靜態記憶體配置來避免執行時期的堆積記憶體（heap memory）獲取。
• Inference Support: 支援浮點數與量化 uint8 推論，包括使用校準資料集進行訓練後量化。
• Zero-Copy Loading: 使用扁平化模型格式，允許模型在載入時無需複製數據。

Who it’s for

需要為影像分類、物件偵測、姿勢估計和影像分割編譯並部署優化神經網路的 AI 加速器（K210、K510、K230）開發人員與工程師。

Highlights

• Broad Format Support: 相容於 TFLite、Caffe 和 ONNX。
• Hardware Optimization: 專為 K210、K510 和 K230 加速器優化。
• Efficient Memory: 使用靜態記憶體配置與零複製載入。
• Versatile Inference: 支援浮點數與量化 uint8 推論。