> ## Documentation Index
> Fetch the complete documentation index at: https://dragonwingdocs-staging.qualcomm.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 支持的 LiteRT 运行时

> 使用 CPU(XNNPACK)、GPU 或 NPU(Qualcomm AI Runtime)委托,在 Qualcomm Dragonwing IoT 平台上运行 LiteRT 模型。

LiteRT 通过委托支持硬件加速,委托将图的执行卸载到专用硬件上。以下委托可在 Qualcomm Dragonwing IoT 平台上使用。

## CPU 委托

XNNPACK 委托使用 XNNPACK 库在 CPU 上加速 LiteRT 模型。XNNPACK 是 Google 的一个开源库,它:

* 为 Arm CPU 提供神经网络算子的优化实现。
* 使用低级 CPU 指令(例如 Arm® Neon™ 指令集)优化算子以实现高效执行。

XNNPACK 委托支持 32 位浮点和 int8 格式的模型。有关更多信息,请参阅 [XNNPACK back-end for TensorFlow Lite](https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/delegates/xnnpack/README.md)。

要使用 XNNPACK 委托运行 LiteRT 模型,请参阅[部署 LiteRT 模型](../topic/deploy-a-litert-model#deploy-as-a-native-application)。

## GPU 委托

GPU 开源委托在特定厂商的 GPU(包括 Qualcomm Adreno GPU)上加速 LiteRT 模型。它使用 OpenCL 内核在 GPU 上运行 LiteRT 模型执行图中的神经网络运算,从而提升并行处理性能。

GPU 委托在 Adreno GPU 上支持以下模型精度:

* 16 位浮点
* 32 位浮点

有关更多信息,请参阅 [GPU delegates for LiteRT](https://www.tensorflow.org/lite/performance/gpu)。

要使用 GPU 委托运行 LiteRT 模型,请参阅[部署 LiteRT 模型](../topic/deploy-a-litert-model#deploy-as-a-native-application)。

## HTP 委托

Qualcomm AI Runtime 委托是专为在 Qualcomm 平台上实现硬件加速而设计的专有委托。它基于 LiteRT 的[外部委托接口](https://ai.google.dev/edge/litert/performance/implementing_delegate#option_2_leverage_external_delegate),可以将 LiteRT 模型的部分或全部卸载到专用的 Qualcomm 硬件上,包括 Adreno GPU 和 NPU。

该委托通过减少 CPU 工作负载来提升模型执行性能和能效。它使用现有的 Qualcomm AI Runtime API 和可用的后端来加速模型。有关更多信息,请参阅 [Qualcomm AI Runtime (QAIRT) SDK](https://docs.qualcomm.com/doc/80-63442-10)。

Qualcomm AI Runtime 委托在可用硬件上同时支持 32 位浮点和 int8 精度。

您可以使用以下接口构建应用:

* Qualcomm AI Runtime 委托接口
* LiteRT 外部委托接口

这两种接口都可用于独立的 LiteRT 应用。如果您使用 Qualcomm IM SDK 部署 LiteRT 模型,[`qtimltflite`](https://imsdkdocs.qualcomm.com/plugin-reference/qtimltflite) GStreamer 插件将使用 QNN 委托。有关 `Litert external delegate interface` 的更多信息,请参阅 [Leverage external delegate](https://ai.google.dev/edge/litert/performance/implementing_delegate#option_2_leverage_external_delegate)。