使用共享 VPC 的 GKE 集群与 Cloud TPU

警告： 本文档中的内容仅适用于使用 TPU 节点架构的 TPU。只有 TPU v2 和 v3 上的 GKE 支持 TPU 节点架构。如果您使用的是 TPU 虚拟机架构，请参阅在 Google Kubernetes Engine (GKE) 上运行 TPU 应用。

本指南介绍如何完成以下任务：

• 使用共享 VPC 网络设置 Cloud TPU GKE 集群。
• 设置所需的 API 和 IP 范围，以确保集群、共享 VPC 和 Google 托管式服务之间的通信。
• 为集群 pod 和服务创建次要 CIDR 范围。

概念

本指南中将频繁使用以下概念：

• 宿主项目：包含一个或多个共享 VPC 网络的项目。在本指南中，此项目将包含您的共享 VPC。

• 服务项目：由共享 VPC 管理员连接到宿主项目的项目。此连接可让其参与共享 VPC。在本指南中，此项目将包含您的 Cloud TPU 集群。

使用要求

注意 ：您的集群必须使用 GKE 1.11.3-gke.18 或更高版本。

启用 API

1. 在 Google Cloud 控制台中为托管项目启用以下 API：

   • Service Networking API

2. 在 Google Cloud 控制台中为您的服务项目启用以下 API：

   • Service Networking API
   • Cloud TPU API

为 VPC 与 Google 代管式服务建立对等连接设置 IP 地址范围

注意 ：这些步骤必须由宿主项目的网络管理员（compute.networkAdmin 角色）执行。

请按照以下步骤在宿主项目的共享 VPC 网络中预留 IP 范围。此范围将供此 VPC 网络中的所有 Google 代管式服务使用。Cloud TPU 是 Google 管理的服务之一。

1. 列出共享 VPC 网络中的现有 IP 范围。

   $ gcloud beta compute networks list-ip-addresses network \
   --project=host-project-id

2. 选择一个可用的范围，并在共享 VPC 网络中预留该范围。

   $ gcloud beta compute addresses create peering-name \
     --global \
     --prefix-length=16 \
     --network=network \
     --purpose=VPC_PEERING \
     --project=host-project-id

   peering-name 用于指定 VPC 对等互连连接的名称。您将在下一步中使用此名称。

3. 在宿主项目与 Google 代管式服务之间创建 VPC 网络对等互连连接。

   $ gcloud beta services vpc-peerings connect \
     --service=servicenetworking.googleapis.com \
     --network=network \
     --ranges=peering-name \
     --project=host-project-id

为集群创建次要 IP 范围

注意： 这些步骤必须由宿主项目的网络管理员（compute.networkAdmin 角色）执行。

在共享 VPC 网络中，选择或创建一个子网，然后为集群 pod 和服务添加两个次要 CIDR 范围。

• 创建具有次要 CIDR 范围的 VPC 子网

• 向现有 VPC 子网添加次要 CIDR 范围

这些范围分别适用于集群的 pod 和服务。后续步骤中将使用这些范围名称。

• subnet 将是宿主项目的 network 中的子网。

• tier-1-name 将是 subnet 中 GKE Pod 使用的次要范围的名称。

• tier-2-name 将是 subnet 中 GKE 服务使用的次要范围的名称。

创建包含 Cloud TPU 的 GKE 集群

以下命令展示了如何使用共享 VPC 网络中的现有 CIDR 范围创建 GKE，并启用 Cloud TPU：

$ gcloud beta container clusters create cluster-name \
  --enable-ip-alias \
  --network projects/host-project-id/global/networks/network \
  --subnetwork projects/host-project-id/regions/region/subnetworks/subnet \
  --cluster-secondary-range-name tier-1-name \
  --services-secondary-range-name tier-2-name \
  --scopes=cloud-platform \
  --enable-tpu \
  --enable-tpu-service-networking \
  --project=service-project-id

• 如需详细了解这些标志，请参阅 gcloud beta container clusters create 命令参考指南。

按照在 GKE 上运行 Cloud TPU 应用指南中的 Pod 规范步骤构建使用 Cloud TPU 资源的作业。

清理

在 GKE 上使用 Cloud TPU 后，请清理资源，以避免您的 Cloud Billing 账号产生额外扣款。

1. 删除预留的对等互连 IP 地址范围。

   $ gcloud beta compute addresses delete peering-name \
     --global \
     --project=host-project-id

2. 按照“使用共享 VPC 设置集群”中的清理说明，删除集群和网络资源。