xlite-dev/lite.ai.toolkit

해결하는 문제

Lite.Ai.ToolKit는 AI 모델의 배포를 간소화하기 위해 설계된 가벼운 C++ 툴킷입니다. 방대한 사전 구현 AI 모델 라이브러리를 애플리케이션에 통합하기 위한 일관되고 사용자 친화적인 API를 제공하여, 다양한 하드웨어와 런타임에서 추론을 실행하는 데 필요한 상용구 코드를 줄여줍니다.

작동 방식

이 툴킷은 인기 있는 추론 엔진을 둘러싼 고수준 래퍼 역할을 합니다. ONNXRuntime, MNN, NCNN, TNN 및 NVIDIA GPU용 TensorRT를 포함한 여러 백엔드를 지원합니다. 통합된 구문(예: lite::cv::Type::Class)을 제공함으로써, 개발자는 저수준의 런타임별 코드를 작성할 필요 없이 모델 가중치를 로드하고 객체 감지 또는 분할과 같은 작업을 수행할 수 있습니다.

대상 사용자

주로 소프트웨어에 컴퓨터 비전 또는 기타 AI 기능을 통합해야 하는 C++ 개발자, 특히 Linux, Windows, MacOS 또는 Android를 대상으로 하는 개발자와 CPU 및 GPU 모두에서 고성능 추론을 찾는 개발자를 위한 것입니다.

주요 특징

• 방대한 모델 동물원: 다양한 작업을 위한 300개 이상의 C++ 구현과 500개 이상의 가중치를 포함합니다.
• 폭넓은 백엔드 지원: ONNXRuntime, MNN, NCNN, TNN 및 TensorRT와 호환됩니다.
• 최소한의 종속성: 기본적으로 OpenCV와 ONNXRuntime만 필요합니다.
• 하드웨어 가속: TensorRT를 통해 NVIDIA GPU를 특별히 지원하여 추론 성능을 향상시킵니다.