espressif/esp-dl

What it solves

ESP-DL は、Espressif ESP シリーズ チップ専用に設計された軽量なニューラルネットワーク推論フレームワークです。メモリ使用量と実行速度を最適化することで、開発者がリソース制限のある System on Chips (SoCs) 上で AI モデルを部署展開できる仕組みを提供します。

How it works

本フレームワークは、ゼロコピー・デシリアライゼーションを実現するために、FlatBuffers ベースのカスタム .espdl モデル形式を使用します。また、モデルを ONNX、PyTorch、TensorFlow から ESP-DL 形式に変換する量子化ツール ESP-PPQ と統合されています。

ESP ハードウェア上でのパフォーマンスを最大化するため、以下の技術を採用しています：

• Mixed Quantization: 精度と速度のバランスをとるため、8-bit、16-bit、および混合精度 (w8a16) をサポートします。
• Static Memory Planning: 利用可能な内部 RAM に基づいて、各レイヤーを最適なメモリ位置に自動的に割り当てます。 。
• Hardware Acceleration: Conv2D のような高負荷な演算子に対してデュアルコア・スケジューリングを利用し、ほとんどの活性化関数に対して 8-bit Look Up Tables (LUT) を使用します。

Who it’s for

ESP32 やその他の Espressif SoCs 上で、学習済みモデルをデバイス上で実行する必要がある開発者。

Highlights

• Broad Model Support: Model Zoo に、OCR (PP-OCRv6) や物体検出 (YOLO11n, YOLO26) などのタスク向けの学習済みモデルが含まれています。

• Netron Visualization: .espdl モデルの可視化をサポートし、デバッグを容易にします。

• Agent-Ready Tooling: AI エージェントが演算子を自動的に実装・最適化するためのツールを提供します。