本教程介绍了如何通过 NVIDIA Triton 和 TensorRT-LLM 服务栈，使用 Google Kubernetes Engine (GKE) 上的图形处理器 (GPU) 来应用 Gemma 大语言模型 (LLM)，以通过 Kubernetes 编排实现基于 GPU 的高效推理。在本教程中，您将下载 2B 和 7B 参数指令调优 Gemma 模型，并使用运行 Triton 和 TensorRT-LLM 的容器将它们部署到 GKE Autopilot 或 Standard 集群。
如果您在部署和应用 AI/机器学习工作负载时需要利用代管式 Kubernetes 的精细控制、可伸缩性、弹性、可移植性和成本效益，那么本指南是一个很好的起点。如果您需要统一的代管式 AI 平台来经济高效地快速构建和应用机器学习模型，我们建议您试用我们的 Vertex AI 部署解决方案。
背景
您可以通过 Triton 和 TensorRT-LLM 使用 GKE 中的 GPU 应用 Gemma，从而实现一个可直接用于生产环境的强大推理服务解决方案，具备托管式 Kubernetes 的所有优势，包括高效的可伸缩性和更高的可用性。本部分介绍本指南中使用的关键技术。
Gemma
Gemma 是一组公开提供的轻量级生成式人工智能 (AI) 模型（根据开放许可发布）。这些 AI 模型可以在应用、硬件、移动设备或托管服务中运行。您可以使用 Gemma 模型生成文本，但也可以针对专门任务对这些模型进行调优。
如需了解详情，请参阅 Gemma 文档。
GPU
利用 GPU，您可以加速在节点上运行的特定工作负载（例如机器学习和数据处理）。GKE 提供了一系列机器类型选项以用于节点配置，包括配备 NVIDIA H100、L4 和 A100 GPU 的机器类型。
使用 GKE 中的 GPU 之前，我们建议您完成以下学习路线：
- 了解当前 GPU 版本可用性
- 了解 GKE 中的 GPU
TensorRT-LLM
NVIDIA TensorRT-LLM (TRT-LLM) 是一种具有 Python API 的工具包，可汇编经过优化的解决方案，以定义 LLM 并构建可在 NVIDIA GPU 上高效执行推理的 TensorRT 引擎。TensorRT-LLM 包含以下功能：
- 具有层融合、激活缓存、内存缓冲区重复使用和 PagedAttention 且经过优化的 Transformer（转换器）实现
- 运行中批处理或连续批处理，可提高整体服务吞吐量
- 张量并行处理和流水线并行处理，用于在多个 GPU 上实现分布式服务
- 量化（FP16、FP8、INT8）
如需了解详情，请参阅 TensorRT-LLM 文档。
Triton
NVIDIA Triton 推理服务器是适用于 AI/机器学习应用的开源推理服务器。Triton 通过经过优化的后端（包括 TensorRT 和 TensorRT-LLM），支持在 NVIDIA GPU 和 CPU 上进行高性能推理。Triton 包含以下功能：
- 多 GPU、多节点推理
- 多模型并发执行
- 模型集成学习或链式
- 预测请求的静态、动态和连续或运行中批处理
如需了解详情，请参阅 Triton 文档。
目标
本指南适用于使用 PyTorch 的生成式 AI 客户、GKE 的新用户或现有用户、机器学习工程师、MLOps (DevOps) 工程师或是对使用 Kubernetes 容器编排功能在 H100、A100 和 L4 GPU 硬件上应用 LLM 感兴趣的平台管理员。
阅读完本指南后，您应该能够执行以下步骤：
- 使用处于 Autopilot 模式的 GKE 集群准备环境。
- 将使用 Triton 和 TritonRT-LLM 的容器部署到您的集群。
- 通过 curl，使用 Triton 和 TensorRT-LLM 应用 Gemma 2B 或 7B 模型。
准备工作
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the required API.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the required API.
-
Make sure that you have the following role or roles on the project: roles/container.admin, roles/iam.serviceAccountAdmin
Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
前往 IAM - 选择项目。
- 点击 授予访问权限。
-
在新的主账号字段中，输入您的用户标识符。 这通常是 Google 账号的电子邮件地址。
- 在选择角色列表中，选择一个角色。
- 如需授予其他角色，请点击 添加其他角色，然后添加其他各个角色。
- 点击保存。
-
准备环境
在本教程中，您将使用 Cloud Shell 来管理 Google Cloud 上托管的资源。Cloud Shell 预安装有本教程所需的软件，包括 kubectl 和 gcloud CLI。
如需使用 Cloud Shell 设置您的环境，请按照以下步骤操作：
在 Google Cloud 控制台中，点击 Google Cloud 控制台中的
激活 Cloud Shell 以启动 Cloud Shell 会话。此操作会在 Google Cloud 控制台的底部窗格中启动会话。设置默认环境变量：
gcloud config set project PROJECT_ID export PROJECT_ID=$(gcloud config get project) export REGION=REGION export CLUSTER_NAME=triton替换以下值：
- PROJECT_ID：您的 Google Cloud 项目 ID。
- REGION：支持要使用的加速器类型的区域，例如适用于 L4 GPU 的
us-central1。
获取对模型的访问权限
如需获取对 Gemma 模型的访问权限，您必须登录 Kaggle 平台并获取 Kaggle API 令牌。
签署许可同意协议
您必须签署同意协议才能使用 Gemma。请按照以下说明操作：
- 访问 Kaggle.com 上的模型同意页面。
- 如果您尚未登录 Kaggle，请进行登录。
- 点击申请访问权限。
- 在 Choose Account for Consent（选择进行同意的账号）部分中，选择 Verify via Kaggle Account（通过 Kaggle 账号验证），以使用您的 Kaggle 账号进行同意。
- 接受模型条款及条件。
生成一个访问令牌
如需通过 Kaggle 访问模型，您需要 Kaggle API 令牌。如果您还没有令牌，请按照以下步骤生成新令牌：
- 在浏览器中，转到 Kaggle 设置。
- 在 API 部分下，点击 Create New Token（创建新令牌）。
系统将下载名为 kaggle.json 的文件。
将访问令牌上传到 Cloud Shell
在 Cloud Shell 中，将 Kaggle API 令牌上传到 Google Cloud 项目：
- 在 Cloud Shell 中，点击 更多 > 上传。
- 选择“文件”，然后点击选择文件。
- 打开
kaggle.json文件。 - 点击上传。
创建和配置 Google Cloud 资源
请按照以下说明创建所需的资源。
创建 GKE 集群和节点池
您可以在 GKE Autopilot 或 Standard 集群中的 GPU 上应用 Gemma。我们建议您使用 Autopilot 集群获得全托管式 Kubernetes 体验。如需选择最适合您的工作负载的 GKE 操作模式，请参阅选择 GKE 操作模式。
Autopilot
在 Cloud Shell 中，运行以下命令：
gcloud container clusters create-auto ${CLUSTER_NAME} \
--project=${PROJECT_ID} \
--region=${REGION} \
--release-channel=rapid \
--cluster-version=1.28
GKE 会根据所部署的工作负载的请求，创建具有所需 CPU 和 GPU 节点的 Autopilot 集群。
Standard
在 Cloud Shell 中，运行以下命令以创建 Standard 集群：
gcloud container clusters create ${CLUSTER_NAME} \ --project=${PROJECT_ID} \ --location=${REGION}-a \ --workload-pool=${PROJECT_ID}.svc.id.goog \ --release-channel=rapid \ --machine-type=e2-standard-4 \ --num-nodes=1集群创建可能需要几分钟的时间。
运行以下命令来为集群创建节点池：
gcloud container node-pools create gpupool \ --accelerator type=nvidia-l4,count=1,gpu-driver-version=latest \ --project=${PROJECT_ID} \ --location=${REGION}-a \ --cluster=${CLUSTER_NAME} \ --machine-type=g2-standard-12 \ --num-nodes=1GKE 会创建一个节点池，其中包含一个 L4 GPU 节点。
为 Kaggle 凭据创建 Kubernetes Secret
在本教程中，您会将 Kubernetes Secret 用于 Kaggle 凭据。
在 Cloud Shell 中，执行以下操作：
配置
kubectl以与您的集群通信：gcloud container clusters get-credentials ${CLUSTER_NAME} --location=${REGION}创建一个 Secret 以存储 Kaggle 凭据：
kubectl create secret generic kaggle-secret \ --from-file=kaggle.json \ --dry-run=client -o yaml | kubectl apply -f -
创建 PersistentVolume 资源以存储检查点
在本部分中，您将创建一个由永久性磁盘提供支持的 PersistentVolume，以存储模型检查点。
创建以下
trtllm_checkpoint_pv.yaml清单：应用清单：
kubectl apply -f trtllm_checkpoint_pv.yaml
下载适用于 Gemma 的 TensorRT-LLM 引擎文件
在本部分中，您将运行一个作业以下载 TensorRT-LLM 引擎文件并将文件存储在您之前创建的 PersistentVolume 中。该作业还会准备好配置文件，以便在下一步中将模型部署在 Triton 服务器上。此过程可能需要几分钟的时间。
Gemma 2B-it
该 TensorRT-LLM 引擎基于 Gemma 的 Gemma 2B-it（指令调优）PyTorch 检查点而构建，使用了 bfloat16 激活，输入序列长度=2048，输出序列长度=1024，以 L4 GPU 为目标。您可以在单个 L4 GPU 上部署该模型。
创建以下
job-download-gemma-2b.yaml清单：应用清单：
kubectl apply -f job-download-gemma-2b.yaml查看作业的日志：
kubectl logs -f job/data-loader-gemma-2b日志的输出类似于以下内容：
... Creating configuration files + echo -e '\n02-16-2024 04:07:45 Completed building TensortRT-LLM engine at /data/trt_engine/gemma/2b/bfloat16/1-gpu/' + echo -e '\nCreating configuration files' ...等待作业完成：
kubectl wait --for=condition=complete --timeout=900s job/data-loader-gemma-2b输出类似于以下内容：
job.batch/data-loader-gemma-2b condition met验证作业是否已成功完成（这可能需要几分钟的时间）：
kubectl get job/data-loader-gemma-2b输出类似于以下内容：
NAME COMPLETIONS DURATION AGE data-loader-gemma-2b 1/1 ##s #m##s
Gemma 7B-it
该 TensorRT-LLM 引擎基于 Gemma 的 Gemma 7B-it（指令调优）PyTorch 检查点而构建，使用了 bfloat16 激活，输入序列长度=1024，输出序列长度=512，以 L4 GPU 为目标。您可以在单个 L4 GPU 上部署该模型。
创建以下
job-download-gemma-7b.yaml清单：应用清单：
kubectl apply -f job-download-gemma-7b.yaml查看作业的日志：
kubectl logs -f job/data-loader-gemma-7b日志的输出类似于以下内容：
... Creating configuration files + echo -e '\n02-16-2024 04:07:45 Completed building TensortRT-LLM engine at /data/trt_engine/gemma/7b/bfloat16/1-gpu/' + echo -e '\nCreating configuration files' ...等待作业完成：
kubectl wait --for=condition=complete --timeout=900s job/data-loader-gemma-7b输出类似于以下内容：
job.batch/data-loader-gemma-7b condition met验证作业是否已成功完成（这可能需要几分钟的时间）：
kubectl get job/data-loader-gemma-7b输出类似于以下内容：
NAME COMPLETIONS DURATION AGE data-loader-gemma-7b 1/1 ##s #m##s
确保作业已成功完成，然后再继续下一部分。
部署 Triton
在本部分中，您将部署一个容器，它将 Triton 与 TensorRT-LLM 后端结合使用，以应用您要使用的 Gemma 模型。
创建以下
deploy-triton-server.yaml清单：应用清单：
kubectl apply -f deploy-triton-server.yaml等待部署成为可用状态：
kubectl wait --for=condition=Available --timeout=900s deployment/triton-gemma-deployment查看清单的日志：
kubectl logs -f -l app=gemma-server部署资源会启动 Triton 服务器并加载模型数据。此过程可能需要几分钟的时间（最多 20 分钟或更长时间）。输出类似于以下内容：
I0216 03:24:57.387420 29 server.cc:676] +------------------+---------+--------+ | Model | Version | Status | +------------------+---------+--------+ | ensemble | 1 | READY | | postprocessing | 1 | READY | | preprocessing | 1 | READY | | tensorrt_llm | 1 | READY | | tensorrt_llm_bls | 1 | READY | +------------------+---------+--------+ .... .... .... I0216 03:24:57.425104 29 grpc_server.cc:2519] Started GRPCInferenceService at 0.0.0.0:8001 I0216 03:24:57.425418 29 http_server.cc:4623] Started HTTPService at 0.0.0.0:8000 I0216 03:24:57.466646 29 http_server.cc:315] Started Metrics Service at 0.0.0.0:8002
应用模型
在本部分中，您将与模型互动。
设置端口转发
运行以下命令以设置到模型的端口转发：
kubectl port-forward service/triton-server 8000:8000
输出类似于以下内容：
Forwarding from 127.0.0.1:8000 -> 8000
Forwarding from [::1]:8000 -> 8000
Handling connection for 8000
使用 curl 与模型互动
本部分介绍如何执行基本冒烟测试以验证所部署的指令调优模型。为简单起见，本部分仅介绍使用 2B 指令调优模型的测试方法。
在新的终端会话中，使用 curl 与模型聊天：
USER_PROMPT="I'm new to coding. If you could only recommend one programming language to start with, what would it be and why?"
curl -X POST localhost:8000/v2/models/ensemble/generate \
-H "Content-Type: application/json" \
-d @- <<EOF
{
"text_input": "<start_of_turn>user\n${USER_PROMPT}<end_of_turn>\n",
"temperature": 0.9,
"max_tokens": 128
}
EOF
以下输出显示了模型响应的示例：
{
"context_logits": 0,
"cum_log_probs": 0,
"generation_logits": 0,
"model_name": "ensemble",
"model_version": "1",
"output_log_probs": [0.0,0.0,...],
"sequence_end": false,
"sequence_id": 0,
"sequence_start": false,
"text_output":"Python.\n\nPython is an excellent choice for beginners due to its simplicity, readability, and extensive documentation. Its syntax is close to natural language, making it easier for beginners to understand and write code. Python also has a vast collection of libraries and tools that make it versatile for various projects. Additionally, Python's dynamic nature allows for easier learning and experimentation, making it a perfect choice for newcomers to get started.Here are some specific reasons why Python is a good choice for beginners:\n\n- Simple and Easy to Read: Python's syntax is designed to be close to natural language, making it easier for"
}
问题排查
- 如果您收到
Empty reply from server消息，则容器可能尚未完成模型数据下载。再次检查 Pod 的日志中是否包含Connected消息，该消息表明模型已准备好进行应用。 - 如果您看到
Connection refused，请验证您的端口转发已启用。
清理
为避免因本教程中使用的资源导致您的 Google Cloud 账号产生费用，请删除包含这些资源的项目，或者保留项目但删除各个资源。
删除已部署的资源
为避免因您在本指南中创建的资源导致您的 Google Cloud 账号产生费用，请运行以下命令：
gcloud container clusters delete ${CLUSTER_NAME} \
--region=${REGION}
后续步骤
- 详细了解 GKE 中的 GPU。
- 了解如何在 Autopilot 中部署 GPU 工作负载。
- 了解如何在 Standard 中部署 GPU 工作负载。
- 浏览 TensorRT-LLM GitHub 代码库和文档。
- 探索 Vertex AI Model Garden。
- 了解如何使用 GKE 平台编排功能运行经过优化的 AI/机器学习工作负载。