espressif/esp-dl

해결하는 문제

ESP-DL은 Espressif ESP 시리즈 칩을 위해 특별히 설계된 경량 신경망 추론 프레임워크를 제공합니다. 개발자는 메모리 사용량과 실행 속도를 최적화하여 리소스가 제한된 시스템 온 칩(SoC)에 AI 모델을 배포할 수 있습니다.

작동 방식

이 프레임워크는 제로 카피 역직렬화를 위해 FlatBuffers를 기반으로 하는 사용자 정의 .espdl 모델 형식을 사용합니다. ONNX, PyTorch, TensorFlow의 모델을 ESP-DL 형식으로 변환하는 양자화 도구인 ESP-PPQ와 통합됩니다. ESP 하드웨어에서 성능을 극대화하기 위해 다음을 사용합니다:

• 혼합 양자화: 정확도와 속도의 균형을 맞추기 위해 8비트, 16비트 및 혼합 정밀도(w8a16)를 지원합니다.
• 정적 메모리 계획: 사용 가능한 내부 RAM을 기반으로 레이어를 최적의 메모리 위치에 자동으로 할당합니다.
• 하드웨어 가속: Conv2D와 같은 연산 집약적인 연산자에 듀얼 코어 스케줄링을 활용하고, 대부분의 활성화 함수에 8비트 룩업 테이블(LUT)을 사용합니다.

대상

ESP32 및 기타 Espressif SoC를 위한 AI 애플리케이션을 구축하며, 기기에서 사전 학습된 모델을 실행해야 하는 개발자.

주요 특징

• 폭넓은 모델 지원: OCR(PP-OCRv6) 및 객체 탐지(YOLO11n, YOLO26)와 같은 작업을 위한 사전 학습된 모델이 포함된 모델 동물원을 제공합니다.
• 효율적인 양자화: AutoQuant 및 espdl-quantize 스킬과 같은 도구를 통해 최적의 양자화 전략을 자동으로 찾습니다.
• Netron 시각화: 더 쉬운 디버깅을 위해 .espdl 모델 시각화를 지원합니다.
• 에이전트 지원 도구: AI 에이전트가 연산자를 자동으로 구현하고 최적화하는 데 도움이 되는 도구를 포함합니다.