概述 - Qualcomm Dragonwing Documentation

本指南介绍如何使用 Qualcomm Dragonwing 物联网平台支持的工具、运行时和框架进行 AI 应用程序开发。它面向希望训练或微调模型、为部署做准备并在 Qualcomm 硬件上构建 AI 应用程序的开发者。本指南中的大多数决策都归结为两个问题:

您可以引入来自 ONNX、PyTorch、TensorFlow 或 LiteRT 的预训练模型,并在 Qualcomm Kryo™ CPU、Adreno™ GPU 和 Hexagon™ NPU (HTP) 上高效运行它们。

选择您的旅程

使用下面的流程图找到适合您应用程序的路径。它会引导您确认是否已有模型、如何准备模型 (紫色) 以及如何运行推理 (蓝色),然后链接到正确的指南。每个高亮框都可以点击。

设备端生成式 AI 的可用性取决于您的 Qualcomm Linux 版本。有关当前支持状态,请参阅 GenAI 工作流页面。

下图展示了 Qualcomm 平台上的 AI 应用程序开发架构。

在模型能够在 Qualcomm 硬件上高效运行之前,需要将其转换为可执行格式,并且对于 Hexagon NPU (HTP),还需将其量化为支持的精度。(LiteRT 模型是个例外: 它们可通过 AI Engine Direct delegate 直接运行。) 请选择与您的起点相匹配的准备工具。

工具	用途	输出
Qualcomm AI Hub	下载预优化模型,或自带模型 (BYOM),由 QAIRT 针对您的目标芯片组在云端进行编译、转换和量化,无需本地工具链。	可直接运行的 LiteRT 或 Qualcomm AI Engine Direct 模型
Qualcomm AI Runtime SDK (QAIRT)	AI Hub BYOM 的本地替代方案: 自行转换、量化和编译来自 TensorFlow、PyTorch、LiteRT 或 ONNX 的模型。集成了 AI Engine Direct 和 Neural Processing SDK。	量化模型 / 编译后的上下文二进制文件
Qualcomm AI Model Efficiency Toolkit	使用训练后量化 (PTQ) 和量化感知训练 (QAT) 恢复量化过程中损失的精度。	精度更高的量化模型
Edge Impulse	基于您自己的音频、图像和传感器数据构建、训练或微调模型。	您所选格式的已训练模型

模型准备好之后,选择如何在设备上执行它。您选择的运行时取决于您使用的语言、模型格式,以及您是否要构建完整的摄像头/视频管线。

运行时 / 集成	最适用于
LiteRT	使用 Qualcomm AI Engine Direct delegate,通过 Python 或 C++ 实现高性能设备端推理。
QAIRT SDK C++ API	对模型执行和推理后端进行底层 C++ 控制。
Qualcomm Intelligent Multimedia SDK (IM SDK)	高性能摄像头、视频和视觉管线,融合采集、预处理、推理和渲染,支持零拷贝缓冲区和 GPU 前/后处理。
Qualcomm® GenAI Inference Engine (Genie)	运行和编排设备端生成式 AI (LLM、多模态) 工作流。

正在构建机器人应用程序?Qualcomm® Intelligent Robotics (QIR) SDK 在这些运行时之上添加了基于 ROS 的模块和硬件加速节点。

Qualcomm 平台包含以下用于 AI 推理的硬件加速器:

Qualcomm Kryo™ CPU — 具有一流能效的高性能 CPU。
Qualcomm Adreno™ GPU: 为 AI 工作负载提供均衡的功耗和性能,可通过 OpenCL 内核加速。也用于模型前处理和后处理 (例如,IM SDK 在 GPU 上运行缩放、颜色转换和叠加)。
Qualcomm Hexagon™ Tensor Processor (HTP): 也称为 NPU/DSP/HMX。针对低功耗、高性能 AI 推理进行了优化。为获得最佳性能,请将预训练模型量化为支持的精度。