使用共享 VPC 的 GKE 集群和 Cloud TPU

警告 ：本文档中的内容仅适用于使用 TPU 节点架构。 只有 TPU v2 和 v3 上的 GKE 支持 TPU 节点架构。如果您 使用 TPU 虚拟机架构， 请参阅在 Google Kubernetes Engine (GKE) 上运行 TPU 应用。

本指南介绍如何完成以下任务：

• 设置 Cloud TPU GKE 使用共享 VPC 网络访问 Cloud Storage 集群。
• 设置所需的 API 和 IP 范围，以确保集群、共享 VPC 和 Google 托管式服务之间的通信。
• 为集群 pod 和服务创建次要 CIDR 范围。

概念

本指南中将频繁使用以下概念：

• 宿主项目：包含一个或多个共享 VPC 的项目 。在本指南中，此项目将包含您的共享 VPC。

• 服务项目：由共享 VPC 管理员连接到宿主项目的项目。此连接可让其参与共享 VPC。在本指南中，此项目包含 Cloud TPU 集群。

使用要求

注意 ：您的集群必须使用 GKE 版本 1.11.3-gke.18 或更高版本。

启用 API

1. 在 Google Cloud 控制台上为您的 Host Project：

   • Service Networking API

2. 在 Google Cloud 控制台上为您的 Service Project：

   • Service Networking API
   • Cloud TPU API

为 Google 代管式服务设置 VPC 对等互连的 IP 范围

注意：这些步骤必须由宿主项目的网络管理员（compute.networkAdmin 角色）执行。

请按以下步骤在 Google Cloud 控制台内的共享 VPC 网络中 宿主项目。此范围将用于所有 Google 代管式服务 此 VPC 网络中Cloud TPU 是 Google 管理的服务之一。

1. 列出共享 VPC 网络中的现有 IP 范围。

   $ gcloud beta compute networks list-ip-addresses network \
   --project=host-project-id

2. 选择一个可用的范围，并在共享 VPC 网络中预留该范围。

   $ gcloud beta compute addresses create peering-name \
     --global \
     --prefix-length=16 \
     --network=network \
     --purpose=VPC_PEERING \
     --project=host-project-id

   peering-name 指定 VPC 对等互连的名称 连接。该名称将在下一步中用到。

3. 在宿主项目和 Google 代管式服务。

   $ gcloud beta services vpc-peerings connect \
     --service=servicenetworking.googleapis.com \
     --network=network \
     --ranges=peering-name \
     --project=host-project-id

为集群创建次要 IP 范围

注意：这些步骤必须由宿主项目的网络管理员（compute.networkAdmin 角色）执行。

在共享 VPC 网络中，选择或创建一个子网，然后为集群 pod 和服务添加两个次要 CIDR 范围。

• 创建具有次要 CIDR 范围的 VPC 子网

• 向现有 VPC 子网添加次要 CIDR 范围

这些范围分别适用于集群的 pod 和服务。后续步骤中将使用这些范围名称。

• subnet 将成为 network 中的子网 创建 Deployment 清单

• tier-1-name 将是 subnet 中 GKE Pod 使用的次要范围的名称。

• tier-2-name 将是供所选请求使用的次要范围的名称 subnet 中的 GKE 服务。

创建使用 Cloud TPU 的 GKE 集群

以下命令展示了如何使用共享 VPC 网络中的现有 CIDR 范围创建 GKE，并启用 Cloud TPU：

$ gcloud beta container clusters create cluster-name \
  --enable-ip-alias \
  --network projects/host-project-id/global/networks/network \
  --subnetwork projects/host-project-id/regions/region/subnetworks/subnet \
  --cluster-secondary-range-name tier-1-name \
  --services-secondary-range-name tier-2-name \
  --scopes=cloud-platform \
  --enable-tpu \
  --enable-tpu-service-networking \
  --project=service-project-id

• 如需详细了解这些标志，请参阅 gcloud beta container clusters create 命令参考指南。

按照指南中的 Pod 规范步骤操作 在 GKE 上运行 Cloud TPU 应用 构建使用 Cloud TPU 资源的作业。

清理

在 GKE 上使用 Cloud TPU 后，请清理资源，以避免您的 Cloud Billing 账号产生额外扣款。

1. 删除预留的对等互连 IP 范围。

   $ gcloud beta compute addresses delete peering-name \
     --global \
     --project=host-project-id

2. 按照“使用共享 VPC 设置集群”中的清理说明，删除集群和网络资源。