将 GenAI 模型与 Qualcomm 生成式 AI（GenAI）推理扩展（Genie）配合使用

​

使用 Genie 运行 LLM

​

前提条件

• 模型包已针对正确的后端（CPU 或 NPU）导出并准备就绪，并且包含 AI Engine Direct（QNN）二进制文件、分词器文件和配置文件。
• 目标设备上已安装 QAIRT，并且 Genie 工具和库已作为 SDK 的一部分可用。
• 目标硬件使用具有足够内存（用于复制和执行模型二进制文件的 RAM 和存储空间）的 Qualcomm 平台。

genie-t2t-run -c genie_config.json -p "Tell me about Qualcomm" 

1. 在主机上，使用目标设备的 IP 地址连接到目标设备。
   ssh root@<IP_ADDRESS_OF_TARGET_DEVICE>
   
2. 在目标设备上，在上一步的 SSH 会话中，创建一个用于存放模型制品的目录：
   mkdir -p /tmp
   
3. 从主机将运行模型所需的库和二进制文件推送到目标设备。
   scp ${QNN_SDK_ROOT}/bin/aarch64-oe-linux-gcc11.2/genie-t2t-run root@<TARGET_IP>:/tmp/
   
   scp ${QNN_SDK_ROOT}/lib/aarch64-oe-linux-gcc11.2/libGenie.so root@<TARGET_IP>:/tmp/
   
   scp ${QNN_SDK_ROOT}/lib/aarch64-oe-linux-gcc11.2/libQnnHtp.so root@<TARGET_IP>:/tmp/
   
   scp ${QNN_SDK_ROOT}/lib/aarch64-oe-linux-gcc11.2/libQnnSystem.so root@<TARGET_IP>:/tmp/
   
   scp ${QNN_SDK_ROOT}/lib/aarch64-oe-linux-gcc11.2/libQnnHtpPrepare.so root@<TARGET_IP>:/tmp/
   
   scp ${QNN_SDK_ROOT}/lib/aarch64-oe-linux-gcc11.2/libQnnHtpNetRunExtensions.so root@<TARGET_IP>:/tmp/
   
   在以下命令中，将 <ARCHITECTURE> 替换为 DSP Hexagon 架构库版本。

   设备	架构
   IQ-8275	75
   IQ-9075/QCS9100	73
   Qualcomm Dragonwing™ RB3 Gen 2	68

   scp ${QNN_SDK_ROOT}/lib/aarch64-oe-linux-gcc11.2/libQnnHtpV<ARCHITECTURE>Stub.so root@<TARGET_IP>:/tmp/
   
   scp ${QNN_SDK_ROOT}/lib/hexagon-v<ARCHITECTURE>/unsigned/libQnnHtpV<ARCHITECTURE>Skel.so root@<TARGET_IP>:/tmp/
   
4. 从主机将模型二进制文件和配置文件推送到目标设备。
   scp <path to htp_backend_ext_config.json> root@<TARGET_IP>:/tmp/
   
   scp <path to genie_config.json> root@<TARGET_IP>:/tmp/
   
   scp <path to tokenizer.json> root@<TARGET_IP>:/tmp/
   
   scp <path to model bin files> root@<TARGET_IP>:/tmp/
   
5. 在目标设备上运行模型。
   export LD_LIBRARY_PATH=/tmp/
   
   export PATH=$LD_LIBRARY_PATH:$PATH
   
   cd $LD_LIBRARY_PATH
   
   ./genie-t2t-run -c <path to genie_config.json> -p "What's the most popular cookie in the world?"
   

​

使用 Genie 运行多模态模型

• Genie Node API：用于创建各个模块。每个节点的创建都需要一个独立的 JSON 配置，类似于对话（dialog）配置。
  • text-encoder
  • image-encoder
  • text-generator
• Genie Pipeline API：用于连接节点并简化执行。Genie 流水线管理 内部的数据类型转换、重新量化和拼接操作。

​

Genie 流水线阶段

1. 创建节点。 a. 创建节点配置。节点 JSON 配置因节点类型而异。 有关更多信息，请参阅 node JSON

Genie_Status_t GenieNodeConfig_createFromJson(const char* str, 
                                              GenieNodeConfig_Handle_t* configHandle);

1. 创建节点。

Genie_Status_t GenieNode_create(const GenieNodeConfig_Handle_t nodeConfigHandle, 
                                GenieNode_Handle_t* nodeHandle);

1. 构建流水线。 a. 根据节点配置创建流水线。

Genie_Status_t GeniePipelineConfig_createFromJson(const char* str, 
                                                  GeniePipelineConfig_Handle_t* configHandle);

1. 将节点添加到流水线。

Genie_Status_t GeniePipeline_create(const GeniePipelineConfig_Handle_t configHandle, 
                                    GeniePipeline_Handle_t* pipelineHandle);

1. 连接节点。
   • 每种节点类型都有一组预定义的 IO 名称。这些名称在 GenieNode.h 中定义。 例如，文本生成器节点有两个可能输入之一和一个输出：
     • 输入：GENIE_NODE_TEXT_GENERATOR_TEXT_INPUT
     • 输入：GENIE_NODE_TEXT_GENERATOR_EMBEDDING_INPUT
     • 输出：GENIE_NODE_TEXT_GENERATOR_TEXT_OUTPUT

• Genie 流水线连接 API 定义从一个生产者节点输出到一个 消费者节点输入的一条连接。例如：

GeniePipeline_connect(pipelineHandle, 
                      lutEncoder, 
                      GENIE_NODE_TEXT_ENCODER_EMBEDDING_OUTPUT,
                      textGenerator,
                      GENIE_NODE_TEXT_GENERATOR_EMBEDDING_INPUT)

1. 运行流水线。 a. 为输入节点设置数据。

Genie_Status_t GenieNode_setData(const GenieNode_Handle_t nodeHandle, 
                                 const GenieNode_IOName_t nodeIOName, 
                                 const void* data, 
                                 const size_t dataSize, 
                                 const char* dataConfig);

• 使用预定义的 IO 名称（与 connect API 中相同）
• IO 名称隐式定义了数据类型

1. 运行流水线。

Genie_Status_t GeniePipeline_execute(const GeniePipeline_Handle_t pipelineHandle, 
                                     void* userData);

• 注册到输出节点的回调将返回输出结果。

​

Genie API

• GeniePipeline：通过将分词器、引擎、采样器和其他节点串联成可运行的流水线， 来编排整个推理工作流。它管理文本生成或嵌入任务的数据流和执行顺序。
• GenieNode：表示流水线中的单个处理单元（分词器、引擎）。 节点封装特定功能，可用于构建自定义推理图。
• GenieDialog：面向对话任务的高级抽象。它使用 JSON 配置将分词器、 模型、后端和采样器连接在一起，并提供用于 token 生成和嵌入的 API。
• GenieEmbedding：处理检索增强生成（RAG）或语义搜索的嵌入查询。 使用加载的模型将输入文本转换为稠密向量表示。
• GenieProfile：存储配置和运行时参数，例如后端选择、采样策略 和性能设置。配置文件允许在不同的推理设置之间快速切换。
• GenieSampler：实现解码策略（例如 greedy、top-k 或 top-p 采样），将 模型 logits 转换为输出 token。支持高级加速技术，如推测解码（SPD）、 自推测解码（SSD）和前瞻解码（LADE）。
• GenieEngine：在所选后端（HTP、GenAI transformer 或 CPU）上执行模型前向计算。 它管理图执行、内存分配和硬件加速。
• GenieTokenizer：在推理期间将文本转换为 token ID，并将其转换回文本。适用于特定模型的 词表，并支持多轮对话的高效编码/解码。

​

Genie API 聊天机器人调用流程