kendryte/nncase

What it solves

nncase는 AI 가속기에서 AI 모델을 최적화하고 배포하기 위해 설계된 신경망 컴파일러입니다. 특히 K210, K510, K230 칩을 대상으로 합니다. 고수준 모델 형식과 이러한 모델을 특수 하드웨어에서 효율적으로 실행하는 것 사이의 간극을 메워줍니다.

How it works

이 컴파일러는 TFLite, Caffe, 및 ONNX와 같은 일반적인 형식의 모델을 가져와 대상 AI 가속기용으로 최적화된 형식으로 컴파일합니다. 다음과 같은 여러 최적화 기술을 사용합니다:

• Operator Fusion: 여러 연산을 하나의 단계로 결합하여 오버헤드를 줄입니다.
• Memory Management: 런타임 중 힙 메모리 획득을 피하기 위해 정적 메모리 할당을 사용합니다.
• Inference Support: 부동 소수점 및 양자화된 uint8 추론을 모두 지원하며, 캘리브레이션 데이터셋을 사용한 사후 학습 양자화도 포함됩니다.
• Zero-Copy Loading: 모델을 데이터 복사 없이 로드할 수 있는 플랫 모델 형식을 사용합니다.

Who it’s for

이미지 분류, 객체 탐지, 포즈 추정, 이미지 세그멘테이션을 위해 최적화된 신경망을 컴파일하고 배포해야 하는 AI 가속기 (K210, K510, K230) 개발자 및 엔지니어입니다.

Highlights

• Multi-Format Support: TFLite, Caffe, 및 ONNX 연산자를 지원합니다.
• Hardware Optimization: K210, K510, K230 가속기에 특화하여 최적화되었습니다.
• Efficient Memory: 정적 메모리 할당 및 제로 코피 로딩을 사용합니다.
• Versatile Inference: float 및 양자화된 uint8 추론을 모두 지원합니다.