qualcomm/ai-hub-models

Qualcomm® AI Hub Models is our collection of state-of-the-art machine learning models optimized for performance (latency, memory etc.) and ready to deploy on Qualcomm® devices.

Qualcomm® AI Hub Models – 快速概览

它是什么 – 一个 Python 软件包，为开发者提供了一系列已针对 Qualcomm 硬件（Snapdragon CPU、GPU、NPU、Hexagon DSP 等）优化的现成机器学习模型（视觉、语言、生成式 AI 等）。该软件包提供了一个命令行工具 (qai‑hub‑models) 和一个 Python API，用于浏览目录、下载正确的模型文件并运行端到端演示。

为什么重要 – 在手机、平板电脑、笔记本电脑或 IoT 设备上部署深度学习模型通常需要大量工作：转换为运行时（TensorFlow Lite、ONNX、Qualcomm AI Engine）、量化、针对特定芯片组编译以及测试性能。Qualcomm AI Hub Models 将这些工作整合在一起，让您可以专注于应用程序开发，而非底层优化。

主要功能 (来自 README)

功能	您将获得
庞大的模型目录	超过 100 种模型，涵盖图像生成、文本生成和经典计算机视觉任务。每个条目均链接至特定模型的 README，包含详细信息和下载链接。
设备专属优化	模型均经过预先量化（例如 w8a8）、针对 LiteRT、ONNX 或 Qualcomm AI Engine Direct 等运行时编译，并在真实设备（Galaxy S 系列、Xiaomi、Snapdragon X Elite、汽车平台等）上进行测试。
CLI 与 Python API	`qai‑hub‑models` 让您能从终端或 Python 代码中浏览 (`models`)、查看信息 (`info`)、查看数值 (`numerics`)、性能 (`perf`)、获取资产、安装依赖项、导出、评估并运行演示。
一键导出与评估	通过 Qualcomm AI Hub Workbench 账户，您可以量化、编译、分析并在云端托管的 Qualcomm 设备上执行推理，然后将设备端结果与 PyTorch 参考输出进行比较。
示例应用程序	原生 Android/Linux/Windows 示例应用程序位于配套的 AI Hub Apps 仓库中，而 Python 演示应用程序则封装了每个模型的预处理/后处理流程。
支持的运行时与硬件	• Qualcomm AI Engine Direct (Android, Linux, Windows) • LiteRT (TensorFlow Lite) • ONNX (QNN execution provider) • CPU, GPU, NPU (Hexagon DSP, HTP) 支持 FP32/FP16/INT8/INT16 精度。
安装选项	仅轻量级 CLI (`qai‑hub‑models‑cli`) 或包含导出/评估功能的完整软件包 (`qai_hub_models`)。

典型工作流程

配置访问权限 – 创建 Qualcomm ID，登录 AI Hub Workbench，并使用 qai‑hub configure 存储您的 API token。
选择模型 – 浏览目录 (qai‑hub‑models models) 并阅读该模型的 README 以了解支持的运行时和精度。
安装依赖项 – qai‑hub‑models install <model> 会下载该模型演示所需的任何额外 Python 软件包。
导出 – qai‑hub‑models export <model> --target-runtime tflite --precision w8a8 --device "Samsung Galaxy S25" 会量化、编译并将模型上传至云端托管设备。
评估 – qai‑hub‑models evaluate <model> --hub-model-id <ID> 会在设备上执行推理，将结果与 PyTorch 基线进行比较，并报告准确度/性能。
运行演示 – 可在本地使用 PyTorch (demo <model>) 或在设备端 (demo <model> --eval-mode on-device) 运行。

适用对象

移动/IoT 开发者：需要在基于 Snapdragon 的手机、平板电脑、笔记本电脑或嵌入式板卡上实现高性能 AI。
研究人员：希望在真实硬件上测试模型，而无需编写自己的编译流水线。
产品团队：构建必须在设备端离线运行的 AI 增强应用程序（相机、AR、语音、翻译）。

限制与注意事项

完整软件包需要 Qualcomm AI Hub Workbench 账户，且导出/评估时需要互联网连接至云端托管设备。
Snapdragon X Elite/X2 Elite 不支持 Windows ARM64 Python；请使用 AMD‑64 Python。
部分演示仅限 PyTorch 且无法在设备端运行；请检查每个模型的 README 以了解支持的演示模式。

总结

Qualcomm AI Hub Models 是一个实用的、由供应商支持的工具箱，将一系列最先进的 ML 模型转化为可部署于 Qualcomm 硬件的资产，并提供便利的 CLI、性能数据和端到端演示。

qualcomm/ai-hub-models