> ## Documentation Index
> Fetch the complete documentation index at: https://dragonwingdocs-staging.qualcomm.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 准备 GenAI 模型

> 使用 Qualcomm AI Hub 或 Qualcomm Jupyter Notebook,为部署到 Qualcomm Dragonwing IoT 平台准备生成式 AI(GenAI)模型。

要准备在 Qualcomm® Dragonwing™ IQ 系列
评估套件上运行的 GenAI 模型,可使用 [Qualcomm AI Hub](https://aihub.qualcomm.com/iot/models)
从具有预计算编码的模型导出模型二进制文件,或使用
[Qualcomm Jupyter Notebook](https://qpm.qualcomm.com/#/main/tools/details/Tutorial_for_LLaVA1_5_7b_IoT)
从预训练模型生成模型二进制文件。

<Note>
  有关更多 Jupyter Notebook 示例,请访问 [Qualcomm Package Manager](https://qpm.qualcomm.com/#/main/home),
  选择 **Tools**,然后搜索 **Generative AI Tutorials**。

  <img src="https://mintcdn.com/qualcomm-staging/uWQLnBcS9sxlZhgB/Key-Documents/AI-Developer-Workflow/_images/qpm-jupyter-notebooks.png?fit=max&auto=format&n=uWQLnBcS9sxlZhgB&q=85&s=76d402474b306626fab3279e84f4215e" width="2393" height="870" data-path="Key-Documents/AI-Developer-Workflow/_images/qpm-jupyter-notebooks.png" />
</Note>

下图展示了这两种方案的准备流程和基本系统要求。

<img src="https://mintcdn.com/qualcomm-staging/uWQLnBcS9sxlZhgB/Key-Documents/AI-Developer-Workflow/_images/genai-model-preparation.png?fit=max&auto=format&n=uWQLnBcS9sxlZhgB&q=85&s=288751235c0ee41ac8063e04e2c54651" alt="AI Hub 和 Jupyter Notebook 方案的 GenAI 模型准备流程及系统要求" width="2933" height="1212" data-path="Key-Documents/AI-Developer-Workflow/_images/genai-model-preparation.png" />

Qualcomm AI Model Efficiency Toolkit(AIMET)支持高级量化技术。
根据所使用的模型,您可能需要选择不同的量化技术
以获得更好的准确性。

下表总结了 GenAI 模型准备的各种方法。

| 特性     | AI Hub                 | Jupyter Notebook             |
| ------ | ---------------------- | ---------------------------- |
| 自动化    | 高:一条命令即可导出             | 中:由 Jupyter Notebook 引导的分步流程 |
| 可定制性   | 有限:仅适用于托管在 AI Hub 上的模型 | 高:可完全控制量化和图优化                |
| 目标受众   | 寻求快速部署的用户              | 研究人员和高级用户                    |
| 主机系统要求 | 中:80 GB RAM + 交换空间     | 高:A100 等高端 GPU 以及 RAM + 交换空间 |