espressif/esp-dl
Espressif deep-learning library for AIoT applications
解決的問題
ESP-DL 是專為在資源受限的 ESP 系列晶片上部署神經網路模型而設計。它提供一個輕量級的推論框架，讓開發者能直接在裝置上執行 AI 應用，無需為基本 AI 任務持續連接雲端。
工作原理
此框架使用基於 FlatBuffers 的自訂輕量級模型格式（.espdl），實現零複製反序列化。它與 ESP-PPQ 量化工具整合，可將 ONNX、PyTorch 和 TensorFlow 格式的模型轉換為最佳化的 ESP-DL 格式。為在 ESP32 系列晶片上最大化效能，採用多項硬體特定最佳化：
- 靜態記憶體規劃器：根據可用內部 RAM，自動將各層分配至最佳記憶體位置。
- 雙核心排程：將計算密集型運算子（如 Conv2D）分散至雙核心處理器，以提升速度。
- 8 位元 LUT 活化：使用查表法（LUT）實現活化函數，降低計算複雜度。
- 高效運算子：實作 Conv、Gemm、Add 和 Mul 等常見 AI 運算子的優化版本。
適用對象
使用 Espressif 系統單晶片（SoC）開發 AI 驅動的物聯網裝置的嵌入式開發者與 AI 工程師。
主要亮點
- 廣泛模型支援：支援 YOLO11n、YOLO26 和 PP-OCRv6 等模型的量化與部署。
- 無縫整合：可直接與 ESP-IDF 整合，並與 ESP-PPQ 量化工具協同運作。
- 硬體最佳化：專為 ESP32-S3 和 ESP32-P4 晶片優化，達成最大效率。
- AI Agent 工具鏈：提供工具協助 AI Agent 自動實作並最佳化框架中的運算子。
相關
- 專案
- 專案
- 專案
- 專案
- 專案