模型移植最佳实践

​

使用 QAIRT SDK 导出自定义 YOLOv8 模型

​

前提条件

在装有 Python >= 3.10 和 PyTorch >=1.8 的主机上安装 Qualcomm AI Runtime SDK。 有关更多详细信息,请参阅安装 Qualcomm AI Runtime SDK。 在主机上运行以下命令。

1. 激活您的虚拟环境。
   source <venv_path>/bin/activate
   
2. 安装 Ultralytics 软件包并导出 ONNX 模型。
   pip install ultralytics
   
   yolo export model=yolov8s.pt imgsz=320 format=onnx opset=11 optimize=True simplify=true
   

​

步骤

1. 将 ONNX 模型转换为 DLC。
   snpe-onnx-to-dlc -i yolov8s.onnx
   
2. 生成量化 DLC。
   1. 准备校准数据集。
   2. 收集 5-10 张训练时使用的图像,并将这些图像保存到输入目录。
   3. 使用 preprocess.py 脚本将 .jpg 图像转换为量化所需的 RAW 文件。
      在本示例中,模型使用 320x320 的输入尺寸。
      1. 按如下方式下载脚本:
         wget https://raw.githubusercontent.com/qualcomm/sample-apps-for-qualcomm-linux/refs/heads/main/qualcomm-linux/scripts/preprocess.py
         
      2. 使用以下选项运行脚本:
         python preprocess.py <INPUT PATH> <OUTPUT PATH> 1 0
         
         • <INPUT PATH>: 包含原始图像的文件夹
         • <OUTPUT PATH>: 用于生成 RAW 文件的文件夹
   4. 创建一个 input.txt 文件,其中包含所有已生成 RAW 文件的路径。 量化过程需要此文件。
3. 量化模型,使用 snpe-dlc-quantize 将模型转换为量化 DLC。
   snpe-dlc-quantize --input_dlc yolov8s.dlc --input_list input.txt
   

​

运行演示

1. 下载标签文件。请参阅下载模型和标签文件。
2. 在主机上,设置用户环境变量:
   export USER=root
   
3. 将测试视频文件推送到设备的 /etc/media。
   scp <video file> $USER@<IP address of target device>:/etc/media/
   
4. 将量化后的 YoloV8 模型推送到设备。
   scp <model file> $USER@<IP address of target device>:/etc/models/
   
5. 获取模型的输出张量,例如 output0。
6. 使用 SSH 登录设备:
   ssh $USER@<IP_ADDRESS_OF_TARGET_DEVICE>
   
7. 在新 shell 中,运行以下命令:
   gst-launch-1.0 -e filesrc location=<video file path> ! qtdemux ! queue ! h264parse ! v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw,format=NV12 ! queue ! tee name=split split. ! queue ! qtivcomposer name=mixer ! queue ! waylandsink fullscreen=true sync=true split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=<model file path> tensors="<output0>" ! queue ! qtimlpostprocess settings="{\"confidence\": 51.0}" results=10 module=yolov8 labels=<label file path> ! video/x-raw,width=640,height=360 ! queue ! mixer.
   
   将以下占位符替换为相应的文件路径:
   <video file path>: 输入视频文件的路径
   <model file path>: YOLOv8 DLC 模型文件的路径
   <label file path>: YOLOv8 标签文件的路径
   
   例如:

   gst-launch-1.0 -e filesrc location=/etc/media/video.mp4 ! qtdemux ! queue ! h264parse ! v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw,format=NV12 ! queue ! tee name=split split. ! queue ! qtivcomposer name=mixer ! queue ! waylandsink fullscreen=true sync=true split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/etc/models/yolov8s_quantized.dlc tensors="<output0>" ! queue ! qtimlpostprocess settings="{\"confidence\": 51.0}" results=10 module=yolov8 labels=/etc/labels/yolov8.json ! video/x-raw,width=640,height=360 ! queue ! mixer.