管理 TPU 资源

本页介绍了如何使用 Create Node API 创建、列出、停止、启动、删除 Cloud TPU 以及连接到 Cloud TPU。当您使用 Google Cloud CLI 运行 gcloud compute tpus tpu-vm create 命令以及使用 Google Cloud 控制台创建 TPU 时，系统会调用 Create Node API。使用 Create Node API 时，系统会立即处理您的请求。如果没有足够的容量来满足您的请求，则请求将失败。

最佳实践是使用队列化资源（而非 Create Node API）创建 TPU。在您请求已排队的资源时，请求会被添加到由 Cloud TPU 服务维护的队列中。请求的资源可用后，系统会将其分配给您的 Google Cloud 项目，供您立即独家使用。如需了解详情，请参阅管理队列中的资源。

使用多切片时，您必须使用已排队的资源。如需了解详情，请参阅多 Slice 简介。

如果您想使用 Google Kubernetes Engine (GKE) 管理 TPU 资源，则必须先创建一个 GKE 集群。然后，您需要向集群添加包含 TPU slice 的节点池。如需了解详情，请参阅 GKE 中的 TPU 简介。

前提条件

在运行这些步骤之前，您必须安装 Google Cloud CLI、创建 Google Cloud 项目并启用 Cloud TPU API。如需查看相关说明，请参阅设置 Cloud TPU 环境。

如果您使用的是 Google Cloud CLI，则可以使用 Cloud Shell、Compute Engine 虚拟机或本地计算机运行命令。借助 Cloud Shell，您无需安装任何软件即可与 Cloud TPU 进行交互。Cloud Shell 会在一段时间不活动后断开连接。如果您运行的是长时间运行的命令，我们建议您在本地机器上安装 Google Cloud CLI。如需详细了解 Google Cloud CLI，请参阅 gcloud 参考文档。

使用 Create Node API 创建 Cloud TPU

您可以使用 gcloud、Google Cloud 控制台或 Cloud TPU API 创建 Cloud TPU。

创建 Cloud TPU 时，您必须指定 TPU 虚拟机映像（也称为 TPU 软件版本）。如需确定应使用哪个虚拟机映像，请参阅 TPU 虚拟机映像。

您还需要按 TensorCore 或 TPU 芯片指定 TPU 配置。如需了解详情，请参阅系统架构中与您使用的 TPU 版本对应的部分。

gcloud

如需使用 Create Node API 创建 TPU，请使用 gcloud compute tpus tpu-vm create 命令。如需配置特定的内部或外部 IP 地址，请参阅外部和内部 IP 地址中的说明。

以下命令使用 v4-8 TPU 配置：

$ gcloud compute tpus tpu-vm create tpu-name \
  --zone=us-central2-b \
  --accelerator-type=v4-8 \
  --version=tpu-software-version

命令标志说明

zone
拟在其中创建 Cloud TPU 的可用区。
accelerator-type
加速器类型用于指定您要创建的 Cloud TPU 的版本和大小。 如需详细了解每个 TPU 版本支持的加速器类型，请参阅 TPU 版本。
version
TPU 软件版本。
shielded-secure-boot（可选）
指定创建 TPU 实例时启用了安全启动。 这会隐式地将它们转换为安全强化型虚拟机实例。 请参阅什么是安全强化型虚拟机？ 。

以下命令会创建具有特定拓扑的 TPU：

$ gcloud compute tpus tpu-vm create tpu-name \
  --zone=us-central2-b \
  --type=v4 \
  --topology=2x2x1 \
  --version=tpu-software-version

必需的标志

tpu-name
您正在创建的 TPU 虚拟机的名称。
zone
您要在其中创建 Cloud TPU 的可用区。
type
您要使用的 TPU 版本。如需了解详情，请参阅 TPU 版本。
topology
TPU 芯片的物理排列方式，用于指定每个维度中的芯片数量。如需详细了解每个 TPU 版本支持的拓扑，请参阅 TPU 版本。
version
您要使用的 TPU 软件版本。如需了解详情，请参阅 TPU 软件版本。

控制台

  1. 在 Google Cloud 控制台中，前往 TPU 页面：

    前往 TPU

  2. 点击创建 TPU。

  3. 在名称字段中，为 TPU 输入名称。

  4. 在“可用区”框中，选择要在其中创建 TPU 的可用区。

  5. 在 TPU 类型框中，选择加速器类型。加速器类型用于指定您要创建的 Cloud TPU 的版本和大小。如需详细了解每个 TPU 版本支持的加速器类型，请参阅 TPU 版本。

  6. 在 TPU 软件版本框中，选择软件版本。创建 Cloud TPU 虚拟机时，TPU 软件版本指定了要安装的 TPU 运行时的版本。如需了解详情，请参阅 TPU 虚拟机映像。

  7. 点击创建以创建资源。

curl

以下命令使用 curl 创建 TPU。

$ curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" -d "{accelerator_type: 'v4-8', \
runtime_version:'tpu-vm-tf-2.18.0-pjrt', \
network_config: {enable_external_ips: true}, \
shielded_instance_config: { enable_secure_boot: true }}" \
https://tpu.googleapis.com/v2/projects/project-id/locations/us-central2-b/nodes?node_id=node_name

必填字段

runtime_version
您要使用的 Cloud TPU 运行时版本。
project
已注册的 Google Cloud 项目的名称。
zone
您要在其中创建 Cloud TPU 的可用区。
node_name
您要创建的 TPU 虚拟机的名称。

运行启动脚本

您可以在创建 TPU 虚拟机时指定 --metadata startup-script 标志，以便在每个 TPU 虚拟机上运行启动脚本。以下命令会使用启动脚本创建 TPU 虚拟机。

$ gcloud compute tpus tpu-vm create tpu-name \
    --zone=us-central2-b \
    --accelerator-type=tpu-type \
    --version=tpu-vm-tf-2.18.0-pjrt \
    --metadata startup-script='#! /bin/bash
      pip3 install numpy
      EOF'

连接到 Cloud TPU

gcloud

使用 SSH 连接到 Cloud TPU：

$ gcloud compute tpus tpu-vm ssh tpu-name --zone=zone

当您请求的切片大于单个主机时，Cloud TPU 会为每个主机创建一个 TPU 虚拟机。每个主机上的 TPU 芯片数量取决于 TPU 版本。

如需安装二进制文件或运行代码，请使用 tpu-vm ssh command 连接到每个 TPU 虚拟机。

$ gcloud compute tpus tpu-vm ssh tpu-name

如需使用 SSH 连接到特定 TPU 虚拟机，请使用 --worker 标志，该标志应紧随从 0 开始的索引：

$ gcloud compute tpus tpu-vm ssh tpu-name --worker=1

如需使用单个命令在所有 TPU 虚拟机上运行命令，请使用 --worker=all 和 --command 标志：

$ gcloud compute tpus tpu-vm ssh tpu-name \
  --project=your_project_ID \
  --zone=zone \
  --worker=all \
  --command='pip install "jax[tpu]==0.4.20" -f https://storage.googleapis.com/jax-releases/libtpu_releases.html'

对于多切片，您可以使用枚举的 TPU 名称在单个虚拟机上运行命令，其中包含每个切片前缀和附加到其后面的数字。如需在所有切片中的所有 TPU 虚拟机上运行命令，请使用 --node=all、--worker=all 和 --command 标志，以及可选的 --batch-size 标志。

$ gcloud compute tpus queued-resources ssh ${QUEUED_RESOURCE_ID} \
  --project=project_ID \
  --zone=zone \
  --node=all \
  --worker=all \
  --command='pip install "jax[tpu]==0.4.20" -f https://storage.googleapis.com/jax-releases/libtpu_releases.html' \
  --batch-size=4

控制台

如需在 Google Cloud 控制台中连接到 TPU，请使用浏览器中的 SSH：

  1. 在 Google Cloud 控制台中，前往 TPU 页面：

    前往 TPU

  2. 在 TPU 虚拟机列表中，点击要连接的 TPU 虚拟机所在行中的 SSH。

列出 Cloud TPU 资源

您可以列出指定可用区中的所有 Cloud TPU。

gcloud

$ gcloud compute tpus tpu-vm list --zone=zone

控制台

在 Google Cloud 控制台中，前往 TPU 页面：

前往 TPU

检索有关 Cloud TPU 的信息

您可以检索关于指定 Cloud TPU 的信息。

gcloud

$ gcloud compute tpus tpu-vm describe tpu-name \
  --zone=zone

控制台

  1. 在 Google Cloud 控制台中，前往 TPU 页面：

    前往 TPU

  2. 点击 Cloud TPU 的名称。控制台会显示 Cloud TPU 详情页面。

停用 Cloud TPU 资源

您可以停止单个 Cloud TPU 以停止产生费用，而不会丢失虚拟机的配置和软件。

gcloud

$ gcloud compute tpus tpu-vm stop tpu-name \
  --zone=zone

控制台

  1. 在 Google Cloud 控制台中，前往 TPU 页面：

    前往 TPU

  2. 选中 Cloud TPU 旁边的复选框。

  3. 点击 停止。

启动 Cloud TPU 资源

您可以在 Cloud TPU 停止后启动它。

gcloud

$ gcloud compute tpus tpu-vm start tpu-name \
  --zone=zone

控制台

  1. 在 Google Cloud 控制台中，前往 TPU 页面：

    前往 TPU

  2. 选中 Cloud TPU 旁边的复选框。

  3. 点击 开始。

删除 Cloud TPU

在会话结束时删除您的 TPU VM slice。

gcloud

$ gcloud compute tpus tpu-vm delete tpu-name \
  --project=project-id \
  --zone=zone \
  --quiet

命令标志说明

zone
拟在其中删除 Cloud TPU 的可用区。

控制台

  1. 在 Google Cloud 控制台中，前往 TPU 页面：

    前往 TPU

  2. 选中 Cloud TPU 旁边的复选框。

  3. 点击 删除。