Skip to main content
使用 LiteRT 运行时,在 Qualcomm® Dragonwing™ 设备的 NPU 上运行量化 LiteRT 模型。

前提条件

运行应用之前,请完成以下步骤以连接目标设备、下载所需工件并设置 Python 环境。
  1. 在设备上启用 Wi-Fi 和 SSH。 设备需要互联网连接才能下载运行示例应用所需的工件。如果已配置 SSH 和 Wi-Fi,请跳过此步骤。 按照设置 SSH 连接在设备上启用 Wi-Fi 和 SSH。
  2. 在目标设备上,下载 download_artifacts.sh 脚本,设置可执行权限, 然后运行该脚本,将模型和标签文件下载到设备。
  3. 在目标设备上设置 Python 环境,以安装 LiteRT 运行时和其他依赖项。
    激活 Python 环境:
    安装 LiteRT 运行时、Pillow 和 OpenCV 软件包:

运行目标检测应用

以下 Python 应用使用量化的 YOLOX LiteRT 模型,对视频文件实时执行目标检测。它将带标注的帧输出到文件或 Wayland 显示器,并通过 QNN LiteRT 委托利用硬件加速,针对边缘 AI 场景进行了优化。
  1. 创建并进入 ${HOME}/Downloads/qimsdk_samples/apps/ 目录。
  2. 下载 object_detection_2.x.py 文件。
    有关代码说明,请参阅下文的使用 OpenCV 和 LiteRT 进行目标检测。
  3. 运行应用:
    将输出视频下载到主机以查看结果:
    当系统提示输入密码时,请输入 oelinux123。

使用 OpenCV 和 LiteRT 进行目标检测

要创建与上一节所述目标检测应用类似的应用,请按如下方式创建 object_detection.py 文件:
  1. 在 ${HOME}/Downloads/qimdk_samples/apps/ 文件夹中,创建 object_detection.py 文件。
  2. 将以下代码添加到您的 object_detection.py 文件中。
    以下代码中的后处理与 AI Hub 中的目标检测模型兼容。 对于自定义模型,请更新后处理逻辑以匹配模型的输出格式和要求。
    a. 导入所需的软件包:
    b. 处理输出参数:
    c. 初始化并配置模型参数:
    d. 加载模型并设置 LiteRT 委托:
    e. 设置视频捕获和预处理:
    f. 创建 GStreamer 管线,将帧流式传输到 Wayland 显示器:
    g. 初始化主循环以读取视频、对每一帧运行推理,并在输出上绘制边界框:
    h. 释放管线并在完成时通知用户: