Skip to main content
使用 QIM SDK 开发 AI 应用包括两个步骤:了解 AI 管线的核心组件,以及遵循应用开发工作流来集成、配置和部署您的应用。

重要组件

构成每条 AI 管线的四个插件,以及通常会阻碍集成的那一个。

开发工作流

用例 → AI Hub 模型检查 → 后处理检查 → 构建应用。

后处理模块

支持的用例、模型系列,以及每种模块类型生成的元数据。

​
AI 应用的重要 QIM SDK 组件

每个 QIM SDK AI 应用都由一小组组件组装而成。其中两个组件决定了您的用例能否开箱即用:运行模型的推理插件,以及将原始输出张量转换为可用元数据的后处理模块。
后处理是针对特定模型的,而不是针对用例通用的。两个目标检测器可能需要不同的解码逻辑。在规划构建之前,请确认存在适用于您的具体模型输出的模块 — 请参阅后处理模块和支持的用例。
要列出设备上的 QIM SDK 插件,并查看后处理模块及每个模块接受的张量形状:

​
应用开发工作流

该工作流由两个决策驱动:Qualcomm AI Hub 上是否有兼容的模型,以及现有后处理模块是否支持该模型的输出。如果两者都支持,可直接进入应用开发。否则,请先集成您自己的模型和/或添加自定义后处理模块。
步骤 2a 和 3a 是可选的。当有合适的 AI Hub 模型和兼容的后处理模块时,您可以从定义用例直接进入应用构建。

​
后处理模块和支持的用例

qtimlpostprocess 插件将原始模型输出张量转换为结构化元数据,供管线的其余部分使用。使用 module 属性配置所需的后处理模块,并提供该模块所需的任何模型特定的 labels 或 settings。选择与模型输出匹配的模块,是决定管线能否生成可用结果的最重要决策。
所列示例是具有代表性的模型系列,而不是详尽的列表。由于后处理模块通常基于输出张量格式,许多兼容的模型可以复用同一个模块。在确定需要自定义模块之前,请将模型的输出张量与 gst-inspect-1.0 qtimlpostprocess 报告的支持格式进行核对。
如果您的模型属于原始张量或自定义输出这一行,那么在存在匹配模块之前,管线将无法生成可用的元数据。请在集成之前而不是在启动调试期间为此做好规划。

​
后续步骤

选择与您在工作流中所处阶段相符的卡片。

使用自己的模型

步骤 2a — 没有合适的 AI Hub 模型,因此需要针对目标平台编译和量化您自己的模型。

添加后处理支持

步骤 3a — 没有与输出匹配的内置模块,因此需要编写并部署自定义模块。

构建应用

步骤 4 — 模型和模块已就绪,因此请选择路径并进行构建。
在投入模块开发之前,请先执行后处理检查(步骤 3)。如果现有模块已经能接受您模型的输出张量,您就可以完全跳过步骤 3a。

​
相关信息

  • Qualcomm AI Hub — 下载经过预训练和优化的模型,以在这些管线中使用。
  • 插件参考 — 所有 QIM SDK 插件及其属性和 caps。
  • 示例管线 — 适用于各个用例的即用型管线。