Skip to main content
Qualcomm AI Runtime SDK 是一款一体化 SDK,用于移植 ML 模型 以便在 Qualcomm 硬件加速器上运行。该 SDK 包含 Qualcomm Neural Processing Engine(也称为 SNPE)和 AI Engine Direct(也称为 QNN),它们提供了转换和量化 在 PyTorch 和 TensorFlow 中训练的模型的工具,以及 在 CPU、GPU 和 HTP 上运行这些模型的运行时。了解有关 SNPE 和 QNN 的更多信息。 QAIRT 工作流

设置

下载 SDK

下载并安装 Qualcomm AI Runtime SDK。

设置 SDK

配置用于模型优化的 SDK 环境。

转换和量化模型

转换和量化模型

转换来自 PyTorch、TensorFlow、ONNX 或 LiteRT 的模型,并使用 SNPE 或 QNN 对其进行量化以便部署。

运行推理

运行模型

使用 SNPE 或 QNN 在 CPU、GPU 或 HTP 上对转换后的模型运行推理。

API 参考

Qualcomm Neural Processing Engine C/C++

SNPE C/C++ API 参考文档。

Qualcomm AI Engine Direct C/C++

QNN C/C++ API 参考文档。