开发生成式 AI(GenAI)应用:GenAI Studio - Qualcomm Dragonwing Documentation

GenAI Studio 是一个容器化解决方案,通过简化生成式 AI 应用在 Qualcomm Linux 系统上的创建和部署,实现快速原型设计和定制。GenAI Studio 为以下核心服务提供与 OpenAI 兼容的 API: 文本生成、文本转语音、图像生成、图像转文本(VLM)以及语音转文本。所有服务均可通过 Web 界面和 OpenAI 兼容的 API 端点访问。

GenAI Studio 不包含模型文件或容器镜像。
您必须自行生成模型并构建容器镜像。
确保您的主机满足要求。
使用主机生成模型。
使用目标设备构建 docker 容器。

用例	描述	支持的平台	模型
文本到文本	使用 LLM 针对输入提示生成类人回复。适用于自动创建文章、摘要、报告或创意内容。	IQ9 Qualcomm Linux	LLaMA 3.2-3B Qwen 3-4B
文本转语音	将文本转换为清晰、自然的音频。非常适合语音助手、有声读物和无障碍解决方案。	IQ9 Qualcomm Linux	Melo-TTS
文本到图像	根据文本描述生成图像。非常适合无需人工设计即可创建图形、插图或视觉内容。	IQ9 Qualcomm Linux	Stable Diffusion 2.1
语音转文本	将口语转换为书面文本。有助于转录、语音命令和免提应用。	IQ9 Qualcomm Linux	Whisper Tiny
图像转文本	使用自然语言描述图像,用于视觉理解和内容审核。	IQ9 Qualcomm Linux	Qwen 2.5-VL-7B
Orchestrator	提供易于使用的 Web 界面,在一个地方访问所有这些功能,方便开发者和用户使用。	IQ9 Qualcomm Linux	上面列出的所有模型

高层架构

下图展示了 GenAI Studio 的高层架构。每个功能块都作为独立的容器运行,提供隔离性、可扩展性和可延展性。这样就可以在不影响现有服务的情况下,以附加容器的形式添加新的模态。

每个端点都有特定的端口。请在端点端口号中查看端口号。

下表列出了每个端点及其关联的端口号。 端点端口号

服务	端口	OpenAI 兼容端点
文本转语音	8083	`POST /v1/audio/speech`
文本到图像	8084	`POST /v1/images/generations`
图像转文本	8080	`POST /v1/responses`
文本到文本	8088	`POST /v1/chat/completions`
语音转文本	8081	`POST /v1/audio/transcriptions`
Orchestrator	8090	统一网关

用户交互

用户通过托管在主机上的网页,或通过来自第三方应用的 OpenAI 兼容端点 API 调用来访问 GenAI Studio。

请求路由到目标设备

网页或 API 调用与运行在目标设备(例如 Qualcomm Dragonwing™ IQ9)上的 orchestrator 服务通信,并将 UI 上的每个用户操作转换为对后端服务的相应 REST API 调用。

编排层

orchestrator 容器充当中央枢纽。它接收请求、管理会话历史、处理多轮对话的连续性(KV-cache),并聚合来自各个模态容器的响应,为用户呈现统一的体验。容器化架构和可扩展性: 每个功能块(orchestrator、文本到文本、文本转语音、文本到图像、图像转文本、语音转文本)都作为独立的容器运行。这提供了以下优势:

服务之间相互隔离。
可扩展性,因为每个服务可根据用例独立扩展。
可延展性,因为您可以以附加容器的形式添加新的模态或模型。

有关更详细的信息,请参阅各个相应用例的文档。

文本到文本

此应用使用 Genie API 运行文本到文本大语言模型(LLM)。它提供一个持久(常驻)的 LLM 服务器,支持以下功能:

根据用户提示生成 LLM 回复(文本到文本)。
复用预加载的模型,避免每次请求都重新加载。
用于模型/会话重置和模型重新加载的控制端点。
直接从 UI 更新系统提示。
会话历史,允许 UI 获取先前的消息。

有关更多信息,请参阅 text-to-text README 和 code flow 文件。

文本到图像

下图展示了文本到图像容器中的示例调用流程序列。

有关更多信息,请参阅 text-to-image README 和 code flow 文件。

图像转文本

图像转文本容器使用视觉语言模型(VLM),以自然语言描述图像,支持视觉理解和内容审核用例。有关更多信息,请参阅 image-to-text README 和 code flow 文件。

文本转语音

下图展示了文本转语音容器中的示例调用流程序列。

有关更多信息,请参阅 text-to-speech README。

语音转文本

下图展示了语音转文本容器中的示例调用流程序列。

有关更多信息,请参阅 speech-to-text README 和 code flow 文件。

设置 GenAI Studio

GenAI Studio 在 IQ9 上受支持,同时支持 Qualcomm Linux 发行版和 Qualcomm IoT 平台上的 Ubuntu。

GenAI Studio 不附带语言模型。您必须使用 AI Hub 生成模型。

在主机上,从 CodeLinaro 下载适用于您的 EVK 的预编译 Qualcomm Linux 构建镜像。
从主机将镜像刷写到目标设备。
在 QLI 上,依赖 Qualcomm 的 DSP 库和 Docker 已预装。

将仓库克隆到目标设备并进入本地目录:

git clone https://github.com/qualcomm/sample-apps-for-qualcomm-linux.git

cd sample-apps-for-qualcomm-linux/GenAI-Solutions/GenAI-Studio

在主机上准备 SDK(可选)。

仅当您要启用完整技术栈或私有 STT 或 TTS 服务时才需要执行此步骤。

qpm-cli --login

qpm-cli --install VoiceAI_ASR -v 2.6.0.0 --path /opt/qcom/qpm/VoiceAI_ASR/2.6.0.0 --silent

qpm-cli --install VoiceAI_TTS -v 1.1.1.0 --path /opt/qcom/qpm/VoiceAI_TTS/1.1.1.0 --silent

TARGET_REPO=/path/to/genai-studio-on-target

rsync -av /opt/qcom/qpm/VoiceAI_ASR/2.5.0.0/whisper_sdk/ \
  ubuntu@<target-host>:${TARGET_REPO}/core-services/speech-to-text/whisper_sdk/

rsync -av /opt/qcom/qpm/VoiceAI_TTS/1.1.1.0/melo_sdk/ \
  ubuntu@<target-host>:${TARGET_REPO}/core-services/text-to-speech/meloTTS/melo_sdk/

在目标设备上的示例应用仓库根目录中,完成预检:
在运行预检之前,请确保设备已正确完成配置。有关初始设备配置,请参阅 device setup。
docker --version
docker compose version
python3 --version
ls -l /dev/fastrpc-cdsp
ls /etc/cdi/

为目标设备准备模型。有关更多信息,请参阅各服务的模型生成和设置文档。

在 /opt/genai-studio-models 下准备模型文件夹。

服务	目标路径	文档
文本到文本	`/opt/genai-studio-models/text-to-text/...`	MODEL_SETUP.md
图像转文本	`/opt/genai-studio-models/image-to-text/Lemans_LE_Gen2_QNN2_41_qwen25_vl_7B/files`	MODEL_SETUP.md
文本到图像	`/opt/genai-studio-models/text-to-image/stable_diffusion_v2_1-qnn_context_binary-w8a16-qualcomm_qcs9075`	MODEL_SETUP.md
语音转文本	`/opt/genai-studio-models/speech-to-text/whisper_tiny-qnn_context_binary-float-qualcomm_qcs9075`	MODEL_SETUP.md
文本转语音	`/opt/genai-studio-models/text-to-speech/melo-tts-v73/files`	Model-Generation.md

构建基础镜像(一次性设置)。

bash scripts/download-qairt-sdk.sh --service base

bash scripts/pull-ubuntu-arm64.sh

DOCKER_BUILDKIT=1 docker build --progress=plain -f Dockerfile.runtime -t ubuntu-runtime:24.04 .

DOCKER_BUILDKIT=1 docker build --progress=plain -f Dockerfile.build-base -t genai-build-base:latest .

构建服务镜像。请参阅各服务的 README 文件(例如 core-services/README.md), 以确保所有必需的文件均已就位。

DOCKER_BUILDKIT=1 docker build --progress=plain -t text-to-text:latest core-services/text-to-text/

DOCKER_BUILDKIT=1 docker build --progress=plain -t image-to-text:responses-v1 core-services/image-to-text/

DOCKER_BUILDKIT=1 docker build --progress=plain -t text-to-image:latest core-services/text-to-image/

DOCKER_BUILDKIT=1 docker build --progress=plain -t speech-to-text:latest core-services/speech-to-text/

DOCKER_BUILDKIT=1 docker build --progress=plain -t text-to-speech:latest core-services/text-to-speech/meloTTS/

DOCKER_BUILDKIT=1 docker build --progress=plain -t orchestrator:latest core-services/orchestrator/

使用 docker-compose 启动服务。有关在运行 docker-compose 之前建议设置的环境变量, 请参阅 README。
docker-compose up -d
docker ps

运行服务健康检查和功能检查,验证所有服务都在运行:

curl -sf http://127.0.0.1:8080/health >/dev/null && echo "Image-to-Text (8080) OK"

curl -sf http://127.0.0.1:8081/health >/dev/null && echo "Speech-to-Text (8081) OK"

curl -sf http://127.0.0.1:8083/health >/dev/null && echo "Text-to-Speech (8083) OK"

curl -sf http://127.0.0.1:8084/health >/dev/null && echo "Text-to-Image (8084) OK"

curl -sf http://127.0.0.1:8088/health >/dev/null && echo "Text-to-Text (8088) OK"

curl -sf http://127.0.0.1:8090/api/status >/dev/null && echo "Orchestrator (8090) OK"

运行统一测试套件:

python3 -m pip install --user -r tests/unified/requirements.txt

python3 tests/unified/run_manifest.py --target-host <TARGET_DEVICE_IP>

有关功能端点检查和测试,请参阅 functional endpoint test 和各个服务的 README 文件。

如果有任何服务无法收集日志,请参阅该服务 docs 文件夹中的故障排除和常见问题文档。要检查服务日志,请运行以下命令:

docker compose ps

docker logs --tail 200 text-to-text

docker logs --tail 200 image-to-text

docker logs --tail 200 text-to-image

docker logs --tail 200 speech-to-text

docker logs --tail 200 text-to-speech

docker logs --tail 200 orchestrator

​高层架构

​用户交互

​请求路由到目标设备

​编排层

​文本到文本

​文本到图像

​图像转文本

​文本转语音

​语音转文本

​设置 GenAI Studio

高层架构

用户交互

请求路由到目标设备

编排层

文本到文本

文本到图像

图像转文本

文本转语音

语音转文本

设置 GenAI Studio