qualcomm/ai-hub-models

Qualcomm® AI Hub Models is our collection of state-of-the-art machine learning models optimized for performance (latency, memory etc.) and ready to deploy on Qualcomm® devices.

解决的问题

提供一系列专为 Qualcomm 硬件部署而优化的前沿机器学习模型,减少在设备上执行模型时编译、量化和性能分析的复杂性。

工作原理

用户可通过 CLI 或 Python API 浏览并下载优化后的模型。通过与 Qualcomm AI Hub Workbench 集成,该项目可自动完成模型编译(针对特定目标运行时,如 TFLite 或 ONNX)和精度(如 INT8 或 FP16)的流程,自动在真实云托管设备上进行性能分析,并运行推理以验证其准确性是否与 PyTorch 输出一致。

适用人群

为 Qualcomm 驱动的设备开发 AI 应用的开发者,包括 Android 智能手机(三星 Galaxy、小米)、Windows 笔记本电脑(骁龙 X Elite)以及汽车或物联网平台。

主要亮点

  • 全面的模型库:涵盖图像分类、图像编辑、超分辨率和语义分割等多种模型。
  • 硬件特定优化:支持在 CPU、GPU 和 NPU(包括 Hexagon DSP 和 HTP)上部署。
  • 自动化工作流:从模型导出和量化到设备端性能分析和推理,流程高度自动化。
  • 端到端演示:提供基于 CLI 的演示,可自动处理预处理、推理和后处理,便于立即测试。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目