espressif/esp-dl

What it solves

ESP-DL 为 Espressif ESP 系列芯片提供了一个轻量级神经网络推理框架。它通过优化内存使用与执行速度，让开发者可以在资源受限的系统单芯片 (SoCs) 上部署 AI 模型。

How it works

该框架使用基于 FlatBuffers 的自定义 .espdl 模型格式，以实现零拷贝反序列化。它集成了 ESP-PPQ，这是一个量化工具，可以将 ONNX、PyTorch 和 TensorFlow 的模型转换为 ESP-DL 格式。

为了在 ESP 硬件上实现性能最大化，它采用了以下技术：

• Mixed Quantization: 支持 8-bit、16-bit 和混合精度 (w8a16) 以平衡准确性与速度。
• Static Memory Planning: 自动根据可用内部 RAM 分配层级到最佳内存位置。
• Hardware Acceleration: 硬件加速：利用双核调度来处理 Conv2D 等密集型算子，并对大多数激活函数使用 8-bit Look Up Tables (LUT)。

Who it’s for

需要在 ESP32 及其他 Espressif SoCs 上运行预训练模型的 ESP32 开发者。

Highlights

• Broad Model Support: 包含一个 Model Zoo，提供 OCR (OCR (PP-OCRv6) 和目标检测 (YOLO11n, YOLO26) 等任务的预训练模型。
• Efficient Quantization: 提供 AutoQuant 和 espdl-quantize 功能，以自动寻找最佳量化策略。
• Efficient Quantization: 提供 AutoQuant 和 espdl-quantize 功能，以自动寻找最佳量化策略。
• Netron Visualization: 支持使用 Netron 可视化 .espdl 模型，以便于调试。
• Agent-Ready Tooling: 包含可帮助 AI agent 自动实现和优化算子的工具。