> ## Documentation Index
> Fetch the complete documentation index at: https://dragonwingdocs-staging.qualcomm.com/llms.txt
> Use this file to discover all available pages before exploring further.
# 概述
> 在 Qualcomm 平台上构建 AI 应用程序的工具、运行时和框架概述,并提供选择模型准备和运行方式的引导路径。
本指南介绍如何使用 Qualcomm Dragonwing 物联网平台支持的工具、运行时和框架进行 AI 应用程序开发。它面向希望训练或微调模型、为部署做准备并在 Qualcomm 硬件上构建 AI 应用程序的开发者。
本指南中的大多数决策都归结为两个问题:
* **您将如何准备模型?** 针对目标硬件对其进行转换、量化、编译或微调。
* **您将如何运行推理?** 在设备上执行模型的运行时或集成路径。
您可以引入来自 ONNX、PyTorch、TensorFlow 或 LiteRT 的预训练模型,并在 Qualcomm Kryo™ CPU、Adreno™ GPU 和 Hexagon™ NPU (HTP) 上高效运行它们。
## 选择您的旅程
使用下面的流程图找到适合您应用程序的路径。它会引导您确认是否已有模型、如何**准备**模型 (紫色) 以及如何**运行推理** (蓝色),然后链接到正确的指南。每个高亮框都可以点击。
```mermaid theme={null}
flowchart TD
Q1{"Do you already have
a trained model?"}
Q1 -->|"No, just show me what it can do"| RunPrebuilt["Run prebuilt AI models & apps
LiteRT on NPU · Qdemo UI · IM SDK sample · QDC"]
Q1 -->|"Yes / bring my own
ONNX · PyTorch · TF · LiteRT"| GenQ{"Generative AI?
LLM · diffusion"}
GenQ -->|"Yes"| GenAI["GenAI workflow
prepare → run → Genie"]
GenQ -->|"No, classic ML / vision"| Prep{"Prepare the model"}
Prep -->|"Ready model, or BYOM in the cloud"| AIHub["Qualcomm AI Hub
ready models · BYOM
(compile/convert in the cloud)"]
Prep -->|"Convert + quantize my own (local)"| QAIRT["QAIRT SDK"]
Prep -->|"Recover quantized accuracy"| AIMET["AIMET (PTQ / QAT)"]
Prep -->|"Fine-tune with my own data"| EI["Edge Impulse"]
AIHub --> Runtime{"Run inference"}
QAIRT --> Runtime
AIMET --> Runtime
EI --> Runtime
Runtime -->|"Python / quick"| LiteRT["LiteRT + AI Engine Direct delegate"]
Runtime -->|"C++ / low-level control"| QAIRTcpp["QAIRT SDK C++ APIs"]
Runtime -->|"Camera / video + AI pipeline"| IMSDK["Qualcomm IM SDK
GStreamer · zero-copy · GPU pre/post"]
click RunPrebuilt "/Key-Documents/AI-Developer-Workflow/map/run-prebuilt-models-and-apps"
click GenAI "/Key-Documents/AI-Developer-Workflow/map/run-on-device-genai"
click AIHub "/Key-Documents/AI-Developer-Workflow/topic/ai-hub"
click QAIRT "/Key-Documents/AI-Developer-Workflow/topic/qairt"
click AIMET "/Key-Documents/AI-Developer-Workflow/topic/aimet"
click EI "/Key-Documents/AI-Developer-Workflow/topic/edge-impulse"
click LiteRT "/Key-Documents/AI-Developer-Workflow/topic/litert-overview"
click QAIRTcpp "/Key-Documents/AI-Developer-Workflow/topic/develop-your-own-application-qairt-cpp"
click IMSDK "/Key-Documents/AI-Developer-Workflow/topic/develop-your-own-application-im-sdk"
classDef prep fill:#31017D,stroke:#31017D,color:#fff;
classDef run fill:#3253DC,stroke:#3253DC,color:#fff;
class AIHub,QAIRT,AIMET,EI,GenAI prep;
class RunPrebuilt,LiteRT,QAIRTcpp,IMSDK run;
```
设备端生成式 AI 的可用性取决于您的 Qualcomm Linux 版本。有关当前支持状态,请参阅 [GenAI 工作流](../map/run-on-device-genai)页面。
## AI 架构
下图展示了 Qualcomm 平台上的 AI 应用程序开发架构。
## 准备您的模型
在模型能够在 Qualcomm 硬件上高效运行之前,需要将其转换为可执行格式,并且对于 Hexagon NPU (HTP),还需将其量化为支持的精度。(LiteRT 模型是个例外: 它们可通过 AI Engine Direct delegate 直接运行。) 请选择与您的起点相匹配的准备工具。
| 工具 | 用途 | 输出 |
| ------------------------------------------------------ | ------------------------------------------------------------------------------------------------------------------------ | -------------------------------------------- |
| [Qualcomm AI Hub](../topic/ai-hub) | 下载预优化模型,或**自带模型 (BYOM)**,由 QAIRT 针对您的目标芯片组**在云端进行编译、转换和量化**,无需本地工具链。 | 可直接运行的 LiteRT 或 Qualcomm AI Engine Direct 模型 |
| [Qualcomm AI Runtime SDK (QAIRT)](../topic/qairt) | AI Hub BYOM 的**本地**替代方案: 自行转换、量化和编译来自 TensorFlow、PyTorch、LiteRT 或 ONNX 的模型。集成了 AI Engine Direct 和 Neural Processing SDK。 | 量化模型 / 编译后的上下文二进制文件 |
| [Qualcomm AI Model Efficiency Toolkit](../topic/aimet) | 使用训练后量化 (PTQ) 和量化感知训练 (QAT) 恢复量化过程中损失的精度。 | 精度更高的量化模型 |
| [Edge Impulse](../topic/edge-impulse) | 基于您自己的音频、图像和传感器数据构建、训练或微调模型。 | 您所选格式的已训练模型 |
## 运行推理
模型准备好之后,选择如何在设备上执行它。您选择的运行时取决于您使用的语言、模型格式,以及您是否要构建完整的摄像头/视频管线。
| 运行时 / 集成 | 最适用于 |
| ------------------------------------------------------------------------------------------------------------ | ----------------------------------------------------------------- |
| [LiteRT](../topic/litert-overview) | 使用 Qualcomm AI Engine Direct delegate,通过 Python 或 C++ 实现高性能设备端推理。 |
| [QAIRT SDK C++ API](../topic/develop-your-own-application-qairt-cpp) | 对模型执行和推理后端进行底层 C++ 控制。 |
| [Qualcomm Intelligent Multimedia SDK (IM SDK)](../topic/develop-your-own-application-im-sdk) | 高性能摄像头、视频和视觉管线,融合采集、预处理、推理和渲染,支持零拷贝缓冲区和 GPU 前/后处理。 |
| [Qualcomm® GenAI Inference Engine (Genie)](https://docs.qualcomm.com/doc/80-63442-10/topic/index_Genie.html) | 运行和编排设备端生成式 AI (LLM、多模态) 工作流。 |
正在构建机器人应用程序?[Qualcomm® Intelligent Robotics (QIR) SDK](https://www.thundercomm.com/rubik-pi-3/en/docs/rubik-pi-3-user-manual/1.0.0-u/Application%20Development%20and%20Execution%20Guide/Robotics-Sample-Applications/Robotics%20Sample%20Applications/) 在这些运行时之上添加了基于 ROS 的模块和硬件加速节点。
## AI 硬件
Qualcomm 平台包含以下用于 AI 推理的硬件加速器:
* **Qualcomm Kryo™ CPU** — 具有一流能效的高性能 CPU。
* **Qualcomm Adreno™ GPU**: 为 AI 工作负载提供均衡的功耗和性能,可通过 OpenCL 内核加速。也用于模型**前处理和后处理** (例如,IM SDK 在 GPU 上运行缩放、颜色转换和叠加)。
* **Qualcomm Hexagon™ Tensor Processor (HTP)**: 也称为 NPU/DSP/HMX。针对低功耗、高性能 AI **推理**进行了优化。为获得最佳性能,请将预训练模型量化为支持的精度。