> ## Documentation Index
> Fetch the complete documentation index at: https://dragonwingdocs-staging.qualcomm.com/llms.txt
> Use this file to discover all available pages before exploring further.
# 使用 Jupyter Notebook 准备 GenAI 模型
> 使用 Qualcomm 提供的 Jupyter Notebook,在 Qualcomm Dragonwing IoT 平台上准备、优化和部署大语言模型(LLM)。
使用 Qualcomm 提供的 Jupyter Notebook,在交互式、
分步引导的环境中在 Qualcomm 平台上准备、优化和部署
大语言模型(LLM)。Jupyter Notebook 在模型准备和执行过程中
提供完全的透明性和可定制性。
下图描绘了整个工作流中常用的三个主要步骤及其对应的 Jupyter Notebook:
模型准备、模型转换和模型执行。
下表总结了 GenAI 模型的 Jupyter Notebook 工作流。
此工作流适用于多种类别的 GenAI 模型,包括
LLM 和视觉模型。
用于模型导出的 Jupyter Notebook 可在 [`Qualcomm Package Manager`](https://qpm.qualcomm.com/#/main/home) 中获取。导航到 Tools 并搜索 **Generative AI Tutorials** 以查看可用的 Notebook。
| 步骤 | 目标 | 详情 | 生成的工件 | | |
| ---------- | ------------------------------------------------ | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ----------------- | -------- | ------ |
| Notebook 1 | 针对 Qualcomm 硬件调整和优化 Hugging Face PyTorch 模型。 | 1. 从 HuggingFace 加载基础模型。
2. 应用 AIMET 转换以进行——图优化、使用 Sequential MSE 和 AdaRound 等技术计算编码。
3. 将优化后的模型连同 AIMET 编码一起导出为 ONNX 格式。AI Hub 路径通过在云平台上托管此步骤的预计算编码来简化工作流。 | ONNX 模型 | AIMET 编码 | 性能分析报告 |
| Notebook 2 | 将 ONNX 模型转换为 Qualcomm AI Engine Direct(QNN)二进制文件 | 4. 使用 Qualcomm AI Runtime SDK 工具,从 Notebook 1 中生成的 ONNX 模型生成序列化二进制文件。
5. 为提示和令牌生成创建上下文二进制文件。
6. 使用性能分析指标验证模型转换。 | 用于推理的 QAIRT 二进制文件 | | |
| Notebook 3 | 在基于 Qualcomm 的设备上运行准备好的模型。 | 7. 将二进制文件和配置文件传输到目标设备。
8. 使用 Genie-CLI 或 QAIRT 运行时 API 进行推理。
9. 验证性能(延迟、吞吐量)和准确性。 | 目标设备上的模型推理 | | |