使用 QAIRT SDK 对您的 AI 模型进行性能分析

​

前提条件

• 在主机上设置 QAIRT SDK。 有关详细的安装和配置说明,请参阅设置 Qualcomm AI Runtime SDK。
• 选择要进行性能分析的模型。 您可以使用 QAIRT 工具转换和量化自定义模型,也可以通过 AI Hub 生成量化 模型。有关编译和优化模型的详细指导,请参阅 编译和优化 AI 模型。 以下说明使用来自 AI Hub 的 Inception V3 模型。
• 在设备上启用 Wi-Fi 和 SSH。 设备需要互联网连接才能下载运行示例应用所需的工件。如果已配置 SSH 和 Wi-Fi,请跳过此步骤。 按照设置 SSH 连接在设备上启用 Wi-Fi 和 SSH。
• 确保已在构建过程中在目标设备上安装了以下 QNN 工具。
  • qnn-net-run
  • qnn-throughput-net-run
  • qnn-context-binary-generator
  • qnn-profile-viewer

​

HTP 上的性能分析级别

​

使用 qnn-net-run 执行 Lint 性能分析

1. 通过 SSH 登录到目标设备:
   ssh root@<IP ADDRESS OF THE TARGET DEVICE>
   
   出现提示时,输入 oelinux123 作为密码。
2. 在目标设备上从 AI Hub 下载量化(w8a8)的 inception_v3 dlc 模型 用于性能分析。
   curl -L https://huggingface.co/qualcomm/Inception-v3/resolve/v0.42.0/Inception-v3_w8a8.dlc -o /etc/models/inception_v3_quantized.dlc 
   
3. 出于演示目的,您可以使用生成的输入文件对模型进行性能分析。 使用以下针对 inception_v3_quantized.dlc 模型定制的 Python 脚本生成这些输入文件。
   1. 将以下脚本以 generate_random_input.py 为名保存在 /etc/models 目录中。
      import os
      import numpy as np
      
      input_path_list =[]
      BASE_PATH = "/tmp/RandomInputsForInceptionV3Profiling/"
      
      if not os.path.exists(BASE_PATH):
         os.mkdir(BASE_PATH)
      
      # generate 10 random inputs and save as raw
      NUM_IMAGES = 10
      
      #binary files
      for img in range(NUM_IMAGES):
         filename = "input_{}.raw".format(img)
         randomTensor = np.random.random((1, 224, 224, 3)).astype(np.float32)
         filename = os.path.join(BASE_PATH, filename)
         randomTensor.tofile(filename)
         input_path_list.append(filename)
      
      #for saving as input_list text
            with open("input_list_profiling.txt", "w") as f:
               for path in input_path_list:
                  f.write(path)
                  f.write("\n")
      
      此脚本生成 10 个示例输入文件,保存在 /tmp/RandomInputsForInceptionV3Profiling/ 目录中,以及一个包含每个生成样本路径的 input_list_profiling.txt 文件。
   2. 在目标设备上运行该脚本:
      python3 /etc/models/generate_random_input.py
      
4. 在目标设备的 /etc/models 目录中创建 backend_extension_config_file.json 和 htp_config.json 文件, 以使用 HTP 运行时对模型进行性能分析。
   • backend_extension_config_file.json
     {
        "backend_extensions": {
           "shared_library_path" : "libQnnHtpNetRunExtensions.so",
           "config_file_path" : "./htp_config.json"
        }
     }
     
   • htp_config.json
     {
     "graphs": [
           {
                 "vtcm_mb": 2,
                 "fp16_relaxed_precision": 0,
                 "graph_names": [
                    "graph_name_1"
                 ],
                 "O": 3.0
           }
        ],
        "devices": [
           {
                 "dsp_arch": "v68",
                 "profiling_level": "linting",
                 "cores": [
                    {
                       "perf_profile": "burst"
                    }
                 ]
           }
        ]
     }
     
     • 对于 Qualcomm Dragonwing™ RB3 Gen 2,使用 "dsp_arch": "v68"
     • 对于 Dragonwing IQ-8275,使用 "dsp_arch": "v75"
     • 对于 Dragonwing IQ-9075,使用 "dsp_arch": "v73"
5. 进入 /etc/models 目录,并在目标设备上运行 qnn-net-run 命令:
   qnn-net-run --model libQnnModelDlc.so \
               --backend libQnnHtp.so \
               --input_list input_list_profiling.txt \
               --config_file backend_extension_config_file.json \
               --output_dir output_htp \
               --profiling_level backend \
               --dlc_path /etc/models/inception_v3_quantized.dlc
   
6. 通过指定 --profiling_level=backend 启用 lint 性能分析。此步骤可确保应用后端特定配置文件中定义的性能分析级别。 应会在 /etc/models/output_htp 目录中创建 execution_metadata.yaml 和 qnn-profiling-data_0.log 文件。 要查看 qnn-profiling-data_0.log 文件中的日志,请使用 qnn-profile-viewer。

​

使用 qnn-profile-viewer 查看 lint 性能分析日志

• libQnnHtpProfilingReader.so
• libQnnChrometraceProfilingReader.so

要从推理中检索 linting 信息,请使用 libQnnHtpProfilingReader.so 插件运行 qnn-profile-viewer。此插件提供每次运行的原始输出。

qnn-profile-viewer --reader libQnnHtpProfilingReader.so --input_log /etc/models/output_htp/qnn-profiling-data_0.log --output /etc/models/output_htp/profile_htp.csv

以下是示例输出:图:使用 libQnnHtpProfilingReader.so 进行 Lint 性能分析的示例输出在 linting 性能分析报告中,每个操作都有:

• Cycle count:在主线程上执行所花费的时间。
• Wait entry:执行开始前等待所花费的周期数。
• Overlap:主线程执行当前操作时,至少一个后台操作所花费的周期数。
• Overlap (wait):主线程等待期间,至少一个后台操作所花费的周期数。

主线程上的每个操作在执行之前都有一个等待期,该等待期仅在前一个操作结束后才开始。这种延迟可能由调度问题引起,也可能是在等待 HVX 或 DMA 等后台活动完成。

libQnnChrometraceProfilingReader.so 插件提供所有运行的平均输出。 此外,如果使用 --output 选项指定了输出文件,则会生成一个 包含 chrometrace 格式性能分析数据的文件。

qnn-profile-viewer --reader libQnnChrometraceProfilingReader.so --input_log /etc/models/output_htp/qnn-profiling-data_0.log --output /etc/models/output_htp/chromeTrace.json

下图显示了示例输出:图:使用 libQnnChrometraceProfilingReader.so 进行 Lint 性能分析的示例输出

要查看 chrome trace,请使用 Google Chrome。

​

使用 QNN HTP Optrace 执行高级性能分析

• 识别可能并行化效果不佳的问题操作。
• 查看操作在整个执行过程中的调度方式。
• 观察各个算子之间的交互。
• 评估 HVX 并行性对每个操作的执行效率。

​

使用 qnn-throughput-net-run 执行性能分析

1. 通过 SSH 登录到目标设备:
   ssh root@<IP ADDRESS OF THE TARGET DEVICE>
   
   出现提示时,输入 oelinux123 作为密码。
2. 在目标设备上创建一个工作目录。
   mkdir -p /etc/models
   
3. 在目标设备上,从 AI Hub 下载量化(w8a8)的 inception_v3 dlc 模型。
   curl -L https://huggingface.co/qualcomm/Inception-v3/resolve/v0.42.0/Inception-v3_w8a8.dlc -o /etc/models/inception_v3_quantized.dlc
   
4. 在目标设备上,在 /etc/models 目录中创建 backend_extension_config.json 和 htp_config.json 文件。 下一步生成上下文二进制文件时需要这些文件。
   • backend_extension_config.json
   {
      "backend_extensions": {
         "shared_library_path": "libQnnHtpNetRunExtensions.so",
         "config_file_path": "./htp_config.json"
      }
   }
   
   • htp_config.json
   {
   "graphs": [
         {
               "vtcm_mb": 2,
               "fp16_relaxed_precision": 0,
               "graph_names": [
                  "graph_name_2"
               ],
               "O": 3.0
         }
      ],
      "devices": [
         {
               "dsp_arch": "v68",
               "profiling_level": "linting",
               "cores": [
                  {
                     "perf_profile": "burst"
                  }
               ]
         }
      ]
   }
   
   • 对于 Qualcomm Dragonwing™ RB3 Gen 2,使用 "dsp_arch": "v68"。
   • 对于 Dragonwing IQ-8275,使用 "dsp_arch": "v75"。
   • 对于 Dragonwing IQ-9075,使用 "dsp_arch": "v73"。
5. 在目标设备上,使用 qnn-context-binary-generator 工具生成上下文二进制文件(.bin 文件)。
   qnn-context-binary-generator --log_level=info --backend libQnnHtp.so --model libQnnModelDlc.so --config_file /etc/models/backend_extension_config.json --output_dir context_bin_dir --dlc_path /etc/models/inception_v3_quantized.dlc --binary_file inception_v3
   
   qnn-throughput-net-run 命令将使用生成的上下文二进制文件。
6. 要使用 qnn-throughput-net-run 对模型进行性能分析,请在目标设备的 /etc/models/ 目录中创建 qtnr_config.json 和 htp_backend.json 文件。
   • htp_backend.json:
   {
      "devices": [
         {
         "dsp_arch": "v68",
         "device_id" : 0
         }
      ]
   }
   
   • qtnr_config.json:
   {
   "backends": [
      {
      "backendName": "htp_backend",
      "backendPath": "libQnnHtp.so",
      "profilingLevel": "BASIC",
      "backendExtensions": "libQnnHtpNetRunExtensions.so",
      "perfProfile": "burst"
      }
   ],
   "models": [
      {
      "modelName": "inception_v3",
      "modelPath": "/etc/models/context_bin_dir/inception_v3.bin",
      "loadFromCachedBinary": true,
      "outputPath": "output_original"
      }
   ],
   "contexts": [
      {
      "contextName": "htp_context_1",
      "priority": "HIGH"
      }
   ],
   "testCase": {
      "iteration": 1,
      "logLevel": "info",
      "threads": [
         {
            "threadName": "htp_thread_1",
            "backend": "htp_backend",
            "context": "htp_context_1",
            "model": "inception_v3",
            "interval": 0,
            "loopUnit": "second",
            "loop": 10,
            "backendConfig": "htp_backend.json"
         }
      ]
      }
   }
   
   • 对于 Qualcomm Dragonwing™ RB3 Gen 2,使用 "dsp_arch": "v68"
   • 对于 Dragonwing IQ-8275,使用 "dsp_arch": "v75"
   • 对于 Dragonwing IQ-9075,使用 "dsp_arch": "v73"
7. 要执行性能分析,请在目标设备上运行以下命令:
   cd /etc/models
   
   qnn-throughput-net-run --config /etc/models/qtnr_config.json --output /etc/models/output_qtnr.json
   
   性能分析信息将生成在 /etc/models 目录中。 图:qnn-throughput-net-run 性能分析的示例输出