> ## Documentation Index
> Fetch the complete documentation index at: https://dragonwingdocs-staging.qualcomm.com/llms.txt
> Use this file to discover all available pages before exploring further.
# 运行设备端生成式 AI (GenAI)
> 使用 Genie、Qualcomm AI Hub 和 QAIRT SDK 在 Qualcomm Dragonwing 物联网平台上准备、运行和开发生成式 AI 应用程序。
Qualcomm® Dragonwing™ 产品将生成式 AI (GenAI) 带到边缘设备,无需完全依赖云基础设施,从而降低延迟、增强隐私,并为各种物联网应用降低成本。
下图展示了 GenAI 架构,包括支持的用例和应用程序、GenAI 框架,以及较低层的后端和库。
Dragonwing IQ 产品集成了 CPU、GPU 和 Hexagon NPU 以实现异构计算,并针对大语言模型 (LLM)、视觉和多模态 AI 任务进行了优化。领先的 GenAI 模型 (包括 Llama、Whisper、Stable Diffusion 和 LLaVA) 均支持机器人、零售和工业自动化等物联网场景。
为了获得响应迅速的 LLM 性能,Dragonwing IQ 支持数十亿参数模型,并采用预填充加速和自推测解码等技术。要启用自带模型 (BYOM) 工作流并简化部署,请使用 Qualcomm AI Hub、Qualcomm AI Runtime SDK 执行提供程序和 Qualcomm Generative AI Inference Extensions (Genie)。
## 设备端 GenAI 为何重要
Dragonwing 上的生成式 AI 可在边缘提供具有上下文感知、自适应且保护隐私的解决方案,为自主无人机、预测性维护、多模态智能体和设备端检索增强生成 (RAG) 等用例实现自动化、个性化和运营效率。
## 开始使用
请选择与您的 GenAI 工作流相匹配的选项。
准备一个可在 Qualcomm Dragonwing 物联网设备上执行的 GenAI 模型。
在 Qualcomm Dragonwing 物联网设备上运行已准备好的 GenAI 模型。
使用 Qualcomm Generative AI Inference Extensions (Genie) 准备、管理和执行 GenAI 模型。
基于 Qualcomm 示例应用程序构建您自己的 GenAI 应用程序。