使用 GPU 处理 Landsat 卫星图像

---

注意：以下注意事项适用于此正式版产品：

• 使用 GPU 的作业按 Dataflow 价格页面中指定的费用收费。
• 如需使用 GPU，您的 Dataflow 作业必须使用 Dataflow Runner v2。

本教程介绍如何在 Dataflow 上使用 GPU 处理 Landsat 8 卫星图像并将其渲染为 JPEG 文件。本教程基于使用 GPU 处理 Landsat 卫星图像示例。

目标

• 为支持 TensorFlow 和 GPU 的 Dataflow 构建 Docker 映像。
• 使用 GPU 运行 Dataflow 作业。

费用

本教程使用 Google Cloud 的以下收费组件：

• Cloud Storage
• Dataflow
• Artifact Registry

您可使用价格计算器根据您的预计使用情况来估算费用。

须知事项

1. 登录您的 Google Cloud 账号。如果您是 Google Cloud 新手，请创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。
2. Install the Google Cloud CLI.

3. To initialize the gcloud CLI, run the following command:

   gcloud init

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. 确保您的 Google Cloud 项目已启用结算功能。

6. Enable the Dataflow, Cloud Build, and Artifact Registry APIs:

   gcloud services enable dataflow cloudbuild.googleapis.com artifactregistry.googleapis.com

7. If you're using a local shell, then create local authentication credentials for your user account:

   gcloud auth application-default login

   You don't need to do this if you're using Cloud Shell.

8. Grant roles to your user account. Run the following command once for each of the following IAM roles: roles/iam.serviceAccountUser

   gcloud projects add-iam-policy-binding PROJECT_ID --member="USER_IDENTIFIER" --role=ROLE

   • Replace PROJECT_ID with your project ID.

   • Replace USER_IDENTIFIER with the identifier for your user account. For example, user:[e-mail].

   • Replace ROLE with each individual role.
9. Install the Google Cloud CLI.

10. To initialize the gcloud CLI, run the following command:

    gcloud init

11. Create or select a Google Cloud project.

    Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

12. 确保您的 Google Cloud 项目已启用结算功能。

13. Enable the Dataflow, Cloud Build, and Artifact Registry APIs:

    gcloud services enable dataflow cloudbuild.googleapis.com artifactregistry.googleapis.com

14. If you're using a local shell, then create local authentication credentials for your user account:

    gcloud auth application-default login

    You don't need to do this if you're using Cloud Shell.

15. Grant roles to your user account. Run the following command once for each of the following IAM roles: roles/iam.serviceAccountUser

    gcloud projects add-iam-policy-binding PROJECT_ID --member="USER_IDENTIFIER" --role=ROLE

    • Replace PROJECT_ID with your project ID.

    • Replace USER_IDENTIFIER with the identifier for your user account. For example, user:[e-mail].

    • Replace ROLE with each individual role.

16. 向您的 Compute Engine 默认服务账号授予角色。对以下每个 IAM 角色运行以下命令一次：roles/dataflow.admin、roles/dataflow.worker、roles/bigquery.dataEditor、roles/pubsub.editor、roles/storage.objectAdmin 和 roles/artifactregistry.reader。

    gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:[e-mail]" --role=SERVICE_ACCOUNT_ROLE

    • 将 PROJECT_ID 替换为您的项目 ID。
    • 将 PROJECT_NUMBER 替换为您的项目编号。 如需查找项目编号，请参阅标识项目。
    • 将 SERVICE_ACCOUNT_ROLE 替换为每个角色。
17. 要存储本教程中的输出 JPEG 图片文件，请创建一个 Cloud Storage 存储桶：
    1. In the Google Cloud console, go to the Cloud Storage Buckets page.

       Go to Buckets page

    2. Click Create bucket.
    3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
       • For Name your bucket, enter a unique bucket name. Don't include sensitive information in the bucket name, because the bucket namespace is global and publicly visible.
       • For Choose where to store your data, do the following:
         • Select a Location type option.
         • Select a Location option.
       • For Choose a default storage class for your data, select the following: Standard.
       • For Choose how to control access to objects, select an Access control option.
       • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
    4. Click Create.

准备工作环境

下载起始文件，然后创建 Artifact Registry 代码库。

下载起始文件

下载起始文件，然后更改目录。

1. 克隆 python-docs-samples 代码库。

   git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git
   

2. 导航到示例代码目录。

   cd python-docs-samples/dataflow/gpu-examples/tensorflow-landsat
   

配置 Artifact Registry

创建一个 Artifact Registry 代码库，以便您可以上传工件。每个代码库可以包含一种受支持格式的工件。

所有代码库内容都已使用 Google 管理的加密密钥或客户管理的加密密钥进行加密。Artifact Registry 默认使用 Google 管理的加密密钥，此选项无需进行任何配置。

您必须至少具有代码库的 Artifact Registry Writer 权限。

运行以下命令创建新代码库。该命令使用 --async 标志并立即返回，无需等待正在进行的操作完成。

gcloud artifacts repositories create REPOSITORY \
    --repository-format=docker \
    --location=LOCATION \
    --async

将 REPOSITORY 替换为您的代码库的名称。对于项目中的每个代码库位置，代码库名称不得重复。

请先配置 Docker 以对 Artifact Registry 的请求进行身份验证，然后再推送或拉取映像。如需为 Docker 代码库设置身份验证，请运行以下命令：

gcloud auth configure-docker LOCATION-docker.pkg.dev

该命令将更新您的 Docker 配置。现在，您可以在 Google Cloud 项目中与 Artifact Registry 连接以推送映像。

构建 Docker 映像

借助 Cloud Build，您可以使用 Dockerfile 构建 Docker 映像，并将其保存到 Artifact Registry 中，供其他 Google Cloud 产品访问。

使用 build.yaml 配置文件构建容器映像。

gcloud builds submit --config build.yaml

使用 GPU 运行 Dataflow 作业

以下代码块演示了如何使用 GPU 启动此 Dataflow 流水线。

我们使用 run.yaml 配置文件运行 Dataflow 流水线。

注意：我们使用容器映像启动作业，以确保作业使用与工作器相同的 Python 版本启动并安装所有依赖项。

export PROJECT=PROJECT_NAME
export BUCKET=BUCKET_NAME

export JOB_NAME="satellite-images-$(date +%Y%m%d-%H%M%S)"
export OUTPUT_PATH="gs://$BUCKET/samples/dataflow/landsat/output-images/"
export REGION="us-central1"
export GPU_TYPE="nvidia-tesla-t4"

gcloud builds submit \
    --config run.yaml \
    --substitutions _JOB_NAME=$JOB_NAME,_OUTPUT_PATH=$OUTPUT_PATH,_REGION=$REGION,_GPU_TYPE=$GPU_TYPE \
    --no-source

替换以下内容：

• PROJECT_NAME：Google Cloud 项目名称
• BUCKET_NAME：Cloud Storage 存储桶名称（不带 gs:// 前缀）

运行此流水线后，等待命令完成。如果退出 shell，则可能会丢失设置的环境变量。

为避免在多个工作器进程之间共享 GPU，此示例使用了配备 1 个 vCPU 的机器类型。流水线的内存要求是使用 13 GB 的扩展内存。如需了解详情，请参阅 GPU 和工作器并行。

查看结果

tensorflow-landsat/main.py 中的流水线会处理 Landsat 8 卫星图像，并将其渲染为 JPEG 文件。请按照以下步骤查看这些文件。

1. 使用 gsutil 列出带有详细信息的输出 JPEG 文件。

   gsutil ls -lh "gs://$BUCKET/samples/dataflow/landsat/"
   

2. 将文件复制到您的本地目录中。

   mkdir outputs
   gsutil -m cp "gs://$BUCKET/samples/dataflow/landsat/*" outputs/
   

3. 使用您选择的图片查看器打开这些图片文件。

清除数据

为避免因本教程中使用的资源导致您的 Google Cloud 账号产生费用，请删除包含这些资源的项目，或者保留项目但删除各个资源。

删除项目

为了避免产生费用，最简单的方法是删除您为本教程创建的项目。

如需删除项目，请执行以下操作：

注意：删除项目会产生以下影响：

• 项目中的所有内容都会被删除。如果您将现有项目用于本文档中的任务，则删除该项目后，还将删除您已在该项目中完成的任何其他工作。
• 自定义项目 ID 丢失。创建此项目时，您可能创建了要在将来使用的自定义项目 ID。要保留使用该项目 ID 的网址（例如 appspot.com 网址），请删除项目内的所选资源，而不是删除整个项目。

如果您打算探索多个架构、教程或快速入门，则重复使用项目可以帮助您避免超出项目配额限制。

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

后续步骤

• 查看支持 GPU 的最低 TensorFlow 示例
• 查看最低启用 GPU 的 PyTorch 示例
• 详细了解 Dataflow 上的 GPU 支持。
• 查看使用 GPU 的任务。
• 探索有关 Google Cloud 的参考架构、图表和最佳实践。查看我们的 Cloud Architecture Center。