qualcomm/ai-hub-models

Qualcomm® AI Hub Models is our collection of state-of-the-art machine learning models optimized for performance (latency, memory etc.) and ready to deploy on Qualcomm® devices.

Qualcomm® AI Hub Models – 빠른 개요

개요 – 개발자에게 Qualcomm 하드웨어(Snapdragon CPU, GPU, NPU, Hexagon DSP 등)에 이미 최적화된 즉시 실행 가능한 머신러닝 모델(비전, 언어, 생성형 AI 등) 카탈로그를 제공하는 Python 패키지입니다. 이 패키지는 카탈로그 탐색, 올바른 모델 파일 다운로드 및 엔드투엔드 데모 실행을 위한 명령줄 도구(qai‑hub‑models)와 Python API를 제공합니다.

중요성 – 스마트폰, 태블릿, 노트북 또는 IoT 기기에 딥러닝 모델을 배포하려면 일반적으로 런타임(TensorFlow Lite, ONNX, Qualcomm AI Engine)으로의 변환, 양자화, 특정 칩셋용 컴파일 및 성능 테스트와 같은 많은 작업이 필요합니다. Qualcomm AI Hub Models는 이러한 모든 작업을 번들로 제공하므로 저수준 최적화가 아닌 애플리케이션 개발에 집중할 수 있습니다.

주요 기능 (README 참조)

기능	제공 내용
방대한 모델 카탈로그	이미지 생성, 텍스트 생성 및 고전적인 컴퓨터 비전 작업을 포함하는 100개 이상의 모델. 각 항목은 세부 정보 및 다운로드 링크가 포함된 모델별 README로 연결됩니다.
기기별 최적화	모델은 사전 양자화(예: w8a8)되고, LiteRT, ONNX 또는 Qualcomm AI Engine Direct와 같은 런타임용으로 컴파일되며, 실제 기기(Galaxy S 시리즈, Xiaomi, Snapdragon X Elite, 자동차 플랫폼 등)에서 테스트되었습니다.
CLI 및 Python API	`qai‑hub‑models`를 사용하면 터미널이나 Python 코드 내에서 탐색(`models`), 정보 보기(`info`), 수치 확인(`numerics`), 성능 확인(`perf`), 에셋 가져오기, 종속성 설치, 내보내기, 평가 및 데모 실행이 가능합니다.
원클릭 내보내기 및 평가	Qualcomm AI Hub Workbench 계정을 사용하면 클라우드 호스팅된 Qualcomm 기기에서 양자화, 컴파일, 프로파일링 및 추론을 실행하고, 기기 내 결과를 PyTorch 참조 출력과 비교할 수 있습니다.
샘플 앱	네이티브 Android/Linux/Windows 샘플 앱은 함께 제공되는 AI Hub Apps 저장소에 있으며, Python 데모 앱은 각 모델의 전처리/후처리 과정을 래핑합니다.
지원되는 런타임 및 하드웨어	• Qualcomm AI Engine Direct (Android, Linux, Windows) • LiteRT (TensorFlow Lite) • ONNX (QNN execution provider) • CPU, GPU, NPU (Hexagon DSP, HTP)에서 FP32/FP16/INT8/INT16 정밀도 지원.
설치 옵션	경량 CLI 전용(`qai‑hub‑models‑cli`) 또는 내보내기/평가 기능이 포함된 전체 패키지(`qai_hub_models`) 중 선택 가능.

일반적인 워크플로우

액세스 구성 – Qualcomm ID를 생성하고 AI Hub Workbench에 로그인한 후 qai‑hub configure로 API 토큰을 저장합니다.
모델 선택 – 카탈로그(qai‑hub‑models models)를 탐색하고 지원되는 런타임 및 정밀도에 대한 모델의 README를 읽습니다.
종속성 설치 – qai‑hub‑models install <model>은 해당 모델 데모에 필요한 추가 Python 패키지를 가져옵니다.
내보내기 – qai‑hub‑models export <model> --target-runtime tflite --precision w8a8 --device "Samsung Galaxy S25"는 모델을 양자화, 컴파일하고 클라우드 호스팅 기기에 업로드합니다.
평가 – qai‑hub‑models evaluate <model> --hub-model-id <ID>는 기기에서 추론을 실행하고 결과를 PyTorch 기준선과 비교하여 정확도/성능을 보고합니다.
데모 실행 – 로컬에서 PyTorch 사용(demo <model>) 또는 기기 내 실행(demo <model> --eval-mode on-device)을 선택합니다.

대상 사용자

모바일/IoT 개발자: Snapdragon 기반 스마트폰, 태블릿, 노트북 또는 임베디드 보드에서 고성능 AI가 필요한 분.
연구원: 자체 컴파일 파이프라인을 작성하지 않고 실제 하드웨어에서 모델을 테스트하려는 분.
제품 팀: 기기 내에서 오프라인으로 실행되어야 하는 AI 강화 앱(카메라, AR, 음성, 번역)을 구축하는 팀.

제한 사항 및 주의 사항

전체 패키지는 Qualcomm AI Hub Workbench 계정이 필요하며, 내보내기/평가를 위해 클라우드 호스팅 기기에 대한 인터넷 액세스가 필요합니다.
Snapdragon X Elite/X2 Elite에서는 Windows ARM64 Python이 지원되지 않습니다. AMD‑64 Python을 사용하십시오.
일부 데모는 PyTorch 전용이며 기기 내에서 실행되지 않습니다. 지원되는 데모 모드는 각 모델의 README를 확인하십시오.

결론

Qualcomm AI Hub Models는 최첨단 ML 모델을 Qualcomm 하드웨어에 배포 가능한 자산으로 변환하는 공급업체 지원 실용 도구 상자이며, 편리한 CLI, 성능 데이터 및 엔드투엔드 데모를 제공합니다.

qualcomm/ai-hub-models