使用 GPU 处理 Landsat 卫星图像

注意：使用此预览版服务时需要注意以下事项：

• 使用 GPU 的作业按 Dataflow 价格页面中指定的费用收费。
• 仅支持 Python 流水线。

本教程介绍如何在 Dataflow 上使用 GPU 处理 Landsat 8 卫星图像并将其渲染为 JPEG 文件。

目标

• 为支持 TensorFlow 和 GPU 的 Dataflow 构建 Docker 映像。
• 使用 GPU 运行 Dataflow 作业。

费用

本教程使用 Google Cloud 的以下收费组件：

• Cloud Storage
• Dataflow
• Container Registry

您可使用价格计算器根据您的预计使用情况来估算费用。

准备工作

1. 登录您的 Google Cloud 帐号。如果您是 Google Cloud 新手，请创建一个帐号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。

2. 在 Google Cloud Console 的项目选择器页面上，选择或创建一个 Google Cloud 项目。

   注意：如果您不打算保留在此过程中创建的资源，请创建新的项目，而不要选择现有的项目。完成本教程介绍的步骤后，您可以删除所创建的项目，并移除与该项目关联的所有资源。

   转到“项目选择器”

3. 确保您的 Cloud 项目已启用结算功能。 了解如何确认您的项目是否已启用结算功能。

4. 启用 Dataflow and Cloud Build API。

   启用 API

5. 创建服务帐号：

   1. 在 Cloud Console 中，转到创建服务帐号页面。

      转到“创建服务帐号”
   2. 选择一个项目。

   3. 在服务帐号名称字段中，输入一个名称。 Cloud Console 会根据此名称填充服务帐号 ID 字段。

      在服务帐号说明字段中，输入说明。例如，Service account for quickstart。

   4. 点击创建。

   5. 点击选择角色字段。

      在快速访问下，点击基本，然后点击所有者。

      注意：角色字段会影响您的服务帐号可以访问项目中的哪些资源。您可以撤消这些角色或稍后授予其他角色。在生产环境中，请勿授予 Owner、Editor 或 Viewer 角色。如需了解详情，请参阅授予、更改和撤消对资源的访问权限。
   6. 点击继续。

   7. 点击完成以完成服务帐号的创建过程。

      不要关闭浏览器窗口。您将在下一步骤中用到它。

6. 创建服务帐号密钥：

   1. 在 Cloud Console 中，点击您创建的服务帐号的电子邮件地址。
   2. 点击密钥。
   3. 依次点击添加密钥和创建新密钥。
   4. 点击创建。JSON 密钥文件将下载到您的计算机上。
   5. 点击关闭。

7. 将环境变量 GOOGLE_APPLICATION_CREDENTIALS 设置为包含您的服务帐号密钥的 JSON 文件的路径。 此变量仅适用于当前的 shell 会话，因此，如果您打开新的会话，请重新设置该变量。

   示例：Linux 或 macOS

   export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

   将 KEY_PATH 替换为包含您的服务帐号密钥的 JSON 文件的路径。

   例如：

   export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

   示例：Windows

   对于 PowerShell：

   $env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

   将 KEY_PATH 替换为包含您的服务帐号密钥的 JSON 文件的路径。

   例如：

   $env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

   对于命令提示符：

   set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

   将 KEY_PATH 替换为包含您的服务帐号密钥的 JSON 文件的路径。

要存储本教程中的输出 JPEG 图片文件，请创建一个 Cloud Storage 存储分区：
1. 在 Cloud Console 中，转到 Cloud Storage 浏览器页面。

   转到浏览器

2. 点击创建存储分区。
3. 在创建存储分区页面上，输入您的存储分区信息。要转到下一步，请点击继续。
   • 在指定存储分区的名称中，输入唯一的存储分区名称。请勿在存储分区名称中添加敏感信息，因为存储分区命名空间是全局性的，公开可见。
   • 对于选择数据存储位置，执行以下操作：
     • 选择位置类型选项。
     • 选择位置选项。
   • 对于为数据选择一个默认存储类别，选择以下项： Standard。
   • 对于选择如何控制对象的访问权限，请选择访问权限控制选项。
   • 对于高级设置（可选），请指定加密方法、保留政策或存储分区标签。
4. 点击创建。

准备工作环境

在学习本教程之前，您必须先设置开发环境并下载入门版文件。

1. 克隆 python-docs-samples 代码库。

   git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git
   

2. 导航到示例代码目录。

   cd python-docs-samples/dataflow/gpu-workers
   

3. 设置和激活 Python 虚拟环境。完成本教程后，运行 deactivate 来退出虚拟环境。

4. 安装示例要求。

   pip install -U pip
   pip install -r requirements.txt
   

构建 Docker 映像

借助 Cloud Build，您可以使用 Dockerfile 构建 Docker 映像，并将其保存到 Container Registry 中，供其他 Google Cloud 产品访问。

export PROJECT=PROJECT_NAME
export BUCKET=BUCKET
export IMAGE="samples/dataflow/tensorflow-gpu:latest"
export PYTHON_VERSION=`python -c 'import platform; print(platform.python_version())'`

gcloud --project $PROJECT builds submit \
  --substitutions _IMAGE=$IMAGE,_PYTHON_VERSION=$PYTHON_VERSION \
  --timeout 20m .

请替换以下内容：

• PROJECT：Google Cloud 项目名称
• BUCKET：Cloud Storage 存储分区

使用 GPU 运行 Dataflow 作业

以下代码块演示了如何使用 GPU 启动此 Dataflow 流水线。

export REGION="us-central1"
export WORKER_ZONE="us-central1-f"
export GPU_TYPE="nvidia-tesla-t4"

python landsat_view.py \
    --output-path-prefix "gs://$BUCKET/samples/dataflow/landsat/" \
    --runner "DataflowRunner" \
    --project "$PROJECT" \
    --region "$REGION" \
    --worker_machine_type "custom-1-13312-ext" \
    --worker_harness_container_image "gcr.io/$PROJECT/$IMAGE" \
    --worker_zone "$WORKER_ZONE" \
    --experiment "worker_accelerator=type:$GPU_TYPE;count:1;install-nvidia-driver" \
    --experiment "use_runner_v2"

运行此流水线后，等待命令完成。如果退出 shell，则可能会丢失设置的环境变量。

为避免在多个工作器进程之间共享 GPU，此示例使用了配备 1 个 vCPU 的机器类型。流水线的内存要求是使用 13 GB 的扩展内存。

注意：landsat_view.py 示例要求的唯一参数是 --output-path-prefix。其他参数用于指定 Dataflow 运行程序和配置 GPU 使用情况。

查看结果

landsat_view.py 中的流水线会处理 Landsat 8 卫星图像，并将其渲染为 JPEG 文件。请按照以下步骤查看这些文件。

1. 使用 gsutil 列出带有详细信息的输出 JPEG 文件。

   gsutil ls -lh "gs://$BUCKET/samples/dataflow/landsat/"
   

2. 将文件复制到您的本地目录中。

   mkdir outputs
   gsutil -m cp "gs://$BUCKET/samples/dataflow/landsat/*" outputs/
   

3. 使用您选择的图片查看器打开这些图片文件。

清理

为避免因本教程中使用的资源导致您的 Google Cloud 帐号产生费用，请删除包含这些资源的项目，或者保留项目但删除各个资源。

删除项目

为了避免产生费用，最简单的方法是删除您为本教程创建的项目。

如需删除项目，请执行以下操作：

警告：删除项目会产生以下影响

• 项目中的所有内容都会被删除。如果您将现有项目用于本教程，则在删除该项目后，还将删除您已在该项目中完成的任何其他工作。
• 自定义项目 ID 丢失。创建此项目时，您可能创建了要在将来使用的自定义项目 ID。要保留使用该项目 ID 的网址（例如 appspot.com 网址），请删除项目内的所选资源，而不是删除整个项目。

如果您打算浏览多个教程和快速入门，重复使用项目可以帮助您避免超出项目配额上限。

1. 在 Cloud Console 中，转到管理资源页面。

   转到“管理资源”

2. 在项目列表中，选择要删除的项目，然后点击删除。
3. 在对话框中输入项目 ID，然后点击关闭以删除项目。

后续步骤

• 详细了解 Dataflow 上的 GPU 支持。
• 查看使用 GPU 的任务。
• 探索有关 Google Cloud 的参考架构、图表、教程和最佳做法。查看我们的云架构中心。