
用于模型导出的 Jupyter Notebook 可在 
Qualcomm Package Manager 中获取。导航到 Tools 并搜索 Generative AI Tutorials 以查看可用的 Notebook。
Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
🚀 QLI Version 2.1 is now live ! Switch to new version to check out the latest content
使用 Qualcomm 提供的 Jupyter Notebook,在 Qualcomm Dragonwing IoT 平台上准备、优化和部署大语言模型(LLM)。

Qualcomm Package Manager 中获取。导航到 Tools 并搜索 Generative AI Tutorials 以查看可用的 Notebook。
| 步骤 | 目标 | 详情 | 生成的工件 | ||
|---|---|---|---|---|---|
| Notebook 1 | 针对 Qualcomm 硬件调整和优化 Hugging Face PyTorch 模型。 | 1. 从 HuggingFace 加载基础模型。 2. 应用 AIMET 转换以进行——图优化、使用 Sequential MSE 和 AdaRound 等技术计算编码。 3. 将优化后的模型连同 AIMET 编码一起导出为 ONNX 格式。AI Hub 路径通过在云平台上托管此步骤的预计算编码来简化工作流。 | ONNX 模型 | AIMET 编码 | 性能分析报告 |
| Notebook 2 | 将 ONNX 模型转换为 Qualcomm AI Engine Direct(QNN)二进制文件 | 4. 使用 Qualcomm AI Runtime SDK 工具,从 Notebook 1 中生成的 ONNX 模型生成序列化二进制文件。 5. 为提示和令牌生成创建上下文二进制文件。 6. 使用性能分析指标验证模型转换。 | 用于推理的 QAIRT 二进制文件 | ||
| Notebook 3 | 在基于 Qualcomm 的设备上运行准备好的模型。 | 7. 将二进制文件和配置文件传输到目标设备。 8. 使用 Genie-CLI 或 QAIRT 运行时 API 进行推理。 9. 验证性能(延迟、吞吐量)和准确性。 | 目标设备上的模型推理 |
