ARM-software/armnn

해결하는 문제

Arm NN는 Arm Cortex-A CPU와 Arm Mali GPU에서 ML 모델을 가속화하기 위해 설계된 머신러닝 추론 엔진입니다. 고수준 신경망 프레임워크와 에너지 효율적인 Arm 하드웨어 사이의 격차를 메우며, 일반적인 ML 라이브러리보다 높은 성능과 전력 효율로 모델을 실행할 수 있도록 보장합니다.

작동 방식

Arm Compute Library (ACL)를 사용하여 하드웨어에 아키텍처별 최적화(예: SVE2)를 적용합니다. TensorFlow Lite (TF Lite) 및 ONNX 형식의 모델을 지원합니다. 지원되지 않는 연산자에 대해 참조용 TF Lite 런타임으로 백업하는 TF Lite Delegate를 통해 가장 광범위한 연산자 지원을 제공하거나, 전용 TF Lite 및 ONNX 파서를 통해 통합할 수 있습니다.

대상 사용자

Android 및 Linux 플랫폼에서 Arm 기반 하드웨어를 타겟으로 하는 ML 애플리케이션을 개발하는 개발자, Python 또는 C++ API를 사용하는 사용자.

주요 특징

• 하드웨어 가속: Arm Cortex-A CPU, Arm Mali GPU, Arm Ethos-N NPU에 특화된 최적화.
• 유연한 통합: 간편한 가속을 제공하는 TF Lite Delegate와 직접 통합 가능한 C++ 파서 제공.
• 크로스플랫폼 지원: 다양한 Android API 레벨 및 Linux Arm v8a/v8.2a용 사전 빌드된 바이너리 제공.
• 사용자 정의 빌드: Dockerfile 지원을 포함한 빌드 도구를 통해 프로젝트에 필요한 특정 컴포넌트를 선택할 수 있습니다.