espressif/esp-dl
Espressif deep-learning library for AIoT applications
解决的问题
ESP-DL 专为在资源受限的 ESP 系列芯片上部署神经网络模型而设计。它提供了一个轻量级的推理框架，使开发者能够直接在设备上运行 AI 应用，无需为基本 AI 任务持续连接云端。
工作原理
该框架使用基于 FlatBuffers 的自定义轻量级模型格式（.espdl），实现零拷贝反序列化。它与 ESP-PPQ 量化工具集成，可将 ONNX、PyTorch 和 TensorFlow 格式的模型转换为优化后的 ESP-DL 格式。为在 ESP32 系列芯片上最大化性能，采用了多种硬件特定优化措施：
- 静态内存规划器：根据可用内部 RAM，自动将各层分配到最优内存位置。
- 双核调度：将计算密集型操作（如 Conv2D）分布在双核处理器上，以提升速度。
- 8 位 LUT 激活：使用查找表（LUT）实现激活函数，降低计算复杂度。
- 高效算子：实现了 Conv、Gemm、Add 和 Mul 等常见 AI 算子的优化版本。
适用人群
使用 Espressif 系统级芯片（SoC）开发 AI 驱动的物联网设备的嵌入式开发者和 AI 工程师。
主要亮点
- 广泛模型支持：支持 YOLO11n、YOLO26 和 PP-OCRv6 等模型的量化与部署。
- 无缝集成：可直接与 ESP-IDF 集成，并与 ESP-PPQ 量化工具协同工作。
- 硬件优化：专为 ESP32-S3 和 ESP32-P4 芯片优化，实现最大效率。
- AI Agent 工具链：提供工具帮助 AI Agent 自动实现并优化框架中的算子。
相关
- 项目
- 项目
- 项目
- 项目
- 项目