espressif/esp-dl

何を解決するか

ESP-DLは、リソース制約のあるESPシリーズチップにニューラルネットワークモデルをデプロイできるように設計されています。開発者が基本的なAIタスクのために継続的なクラウド接続を必要とせずに、デバイス上で直接AIアプリケーションを実行できる軽量な推論フレームワークを提供します。

動作方法

このフレームワークは、ゼロコピーの逆シリアル化を可能にするFlatBuffersベースのカスタム軽量モデル形式（.espdl）を使用しています。ESP-PPQという量子化ツールと統合されており、ONNX、PyTorch、TensorFlow形式のモデルを最適化されたESP-DL形式に変換します。ESP32シリーズチップでのパフォーマンスを最大化するために、以下のハードウェア固有の最適化を採用しています：

• 静的メモリプランナー：利用可能な内部RAMに基づいて、各レイヤーを最適なメモリ位置に自動割り当てします。
• デュアルコアスケジューリング：計算負荷の高い演算子（例：Conv2D）をデュアルコアプロセッサに分散して処理し、速度を向上させます。
• 8ビットLUT活性化：活性化関数にLook Up Table（LUT）を使用することで、計算の複雑さを低減します。
• 効率的な演算子：Conv、Gemm、Add、Mulなどの一般的なAI演算子の最適化バージョンを実装しています。

対象ユーザー

Espressifのシステムオンチップ（SoC）を用いてAI搭載IoTデバイスを開発している組み込み開発者およびAIエンジニア。

主な特徴

• 広範なモデル対応：YOLO11n、YOLO26、PP-OCRv6などのモデルの量子化およびデプロイをサポート。
• シームレスな統合：ESP-IDFと直接連携し、ESP-PPQ量子化ツールと統合可能。
• ハードウェア最適化：ESP32-S3およびESP32-P4チップに特化して最適化され、最大の効率を発揮。
• AIエージェントツールキット：フレームワーク用に演算子を自動的に実装・最適化するためのツールを提供。