向 TPU 虚拟机添加 Persistent Disk
TPU 虚拟机包含一个 100GB 的启动磁盘。在某些情况下,您的 TPU 虚拟机可能需要 用于训练或预处理的额外存储空间。您可以将永久性磁盘 来增加本地磁盘容量
概览
挂接到单设备 TPU 的 Persistent Disk(v2-8、v3-8、v4-8 等)可以
配置为 read-write
或 read-only
。将 Persistent Disk 挂接到
属于某个 TPU Pod 中的 TPU 虚拟机,磁盘会挂接到该实例中的每个 TPU 虚拟机
Pod。防止 Pod 中的两个或更多 TPU 虚拟机向 Persistent Disk 写入数据
必须一次性配置挂接到 Pod 中 TPU 虚拟机的所有永久性磁盘
名称:read-only
。read-only
磁盘对于存储数据集进行处理非常有用
TPU Pod
创建 Persistent Disk 并将其挂接到 TPU 虚拟机后, Persistent Disk,指定 Persistent Disk 在文件系统中的什么位置 文件。如需了解详情,请参阅装载磁盘。
前提条件
要使用 。如果您尚未设置 Cloud TPU 项目, 按照设置 Cloud TPU 环境中的步骤进行操作 然后再继续。
简要步骤
设置 Persistent Disk 的简要步骤如下:
设置 TPU 虚拟机和 Persistent Disk
您可以在创建 TPU 虚拟机时将 Persistent Disk 挂接到 TPU 虚拟机。您可以 还可以将 Persistent Disk 挂接到现有 TPU 虚拟机。
创建 Persistent Disk
使用以下命令创建 Persistent Disk:
$ gcloud compute disks create disk-name \
--size disk-size \
--zone zone \
--type pd-balanced
命令标志说明
挂接 Persistent Disk
在创建 也可以在创建 TPU 虚拟机后添加一个 TPU 虚拟机。
在创建 TPU 虚拟机时附加 Persistent Disk
创建 TPU 虚拟机时,使用 --data-disk
标志挂接 Persistent Disk。
如果要创建 TPU Pod,则必须指定 mode=read-only
。如果您
创建单个 TPU 设备时,您可以指定 mode=read-only
或 mode=read-write
。
以下命令会创建一个 TPU 并将 Persistent Disk 模式设置为
read-write
:
$ gcloud compute tpus tpu-vm create tpu-name \
--project project-id \
--zone=zone \
--accelerator-type=v3-8 \
--version=tpu-vm-image \
--data-disk source=projects/project-id/zones/zone/disks/disk-name,mode=read-write
命令标志说明
将 Persistent Disk 挂接到现有 TPU 虚拟机
使用 gcloud alpha compute tpus tpu-vm attach-disk
命令将
Persistent Disk 迁移到现有 TPU 虚拟机。请参阅 gcloud
文档,了解更多详情和示例。
$ gcloud alpha compute tpus tpu-vm attach-disk tpu-name \
--zone=zone \
--disk=disk-name \
--mode=disk-mode
命令标志说明
tpu-name
- TPU 资源的名称。
zone
- 区域 Cloud TPU 所在的位置。
disk-name
- 要挂接到 TPU 虚拟机的 Persistent Disk 的名称。
mode
- 磁盘的模式。模式必须是
read-only
或read-write
。
如果要在删除 TPU 虚拟机时一并删除 Persistent Disk,您需要 使用以下命令设置 Persistent Disk 的自动删除状态:
$ gcloud compute instances set-disk-auto-delete vm-instance \
--zone=zone \
--auto-delete \
--disk=disk-name
命令标志说明
vm-instance
- 通过 SSH 连接到 TPU 虚拟机后,shell 提示符将更改为包含 您的用户 ID 后跟生成的虚拟机实例名称(例如, pjohnston@t1v-n-...$)。将 vm-instance 替换为 生成的虚拟机实例名称
zone
- 区域 Persistent Disk 所在的 IP 地址
auto-delete
- 当 TPU 资源丢失时,自动删除 Persistent Disk 已删除。
disk-name
- 您的 Persistent Disk 的名称。
如果您的虚拟机因任何原因关停,则 Persistent Disk 可能会断开连接。 请参阅配置系统重启时自动装载,以让您的 要在虚拟机重启时自动装载的 Persistent Disk。
如需详细了解如何自动删除 Persistent Disk,请参阅 修改永久性磁盘。
装载 Persistent Disk
为了从 TPU 虚拟机访问 Persistent Disk,您必须装载该磁盘。 它指定了 TPU 虚拟机文件系统中 Persistent Disk 的位置 文件。
使用 SSH 连接到您的 TPU 虚拟机:
$ gcloud compute tpus tpu-vm ssh tpu-name --zone zone
使用 TPU Pod 时,Pod 中的每个 TPU 都有一个 TPU 虚拟机。 上述命令同时适用于 TPU 设备和 TPU Pod。如果您 此命令会将您连接到 Pod 中的第一个 TPU( 称为 worker 0)。
在 TPU 虚拟机中,列出挂接到 TPU 虚拟机的磁盘:
(vm)$ sudo lsblk
lsblk
命令的输出应如下所示:NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT loop0 7:0 0 55.5M 1 loop /snap/core18/1997 loop1 7:1 0 67.6M 1 loop /snap/lxd/20326 loop2 7:2 0 32.3M 1 loop /snap/snapd/11588 loop3 7:3 0 32.1M 1 loop /snap/snapd/11841 loop4 7:4 0 55.4M 1 loop /snap/core18/2066 sda 8:0 0 300G 0 disk ├─sda1 8:1 0 299.9G 0 part / ├─sda14 8:14 0 4M 0 part └─sda15 8:15 0 106M 0 part /boot/efi sdb 8:16 0 10G 0 disk <== Persistent Disk
在此示例中,
sda
是启动磁盘,sdb
是新磁盘的名称 Persistent Disk挂接的 Persistent Disk 的名称取决于 挂接到虚拟机的永久性磁盘数量使用 TPU Pod 时,您需要在所有 TPU 上装载 Persistent Disk 虚拟机数量所有 Persistent Disk 都应该使用相同的名称 TPU 虚拟机,但不保证一定如此。例如,如果你分离了 重新挂接 Persistent Disk,则设备名称将递增,更改 从
sdb
到sdc
。如果磁盘尚未格式化,请立即格式化挂接的 Persistent Disk:
(vm)$ sudo mkfs.ext4 -m 0 -E lazy_itable_init=0,lazy_journal_init=0,discard /dev/sdb
创建一个用于装载 Persistent Disk 的目录:
如果您使用的是 TPU 设备,请运行以下命令创建一个目录 运行 Persistent Disk:
(vm)$ sudo mkdir -p /mnt/disks/persist
如果您使用的是 TPU Pod,请在 TPU 虚拟机外部运行以下命令。 这将在 Pod 中的所有 TPU 虚拟机上创建目录。
(vm)$ gcloud compute tpus tpu-vm ssh $TPU_NAME --worker=all --command="sudo mkdir -p /mnt/disks/persist"
装载 Persistent Disk:
如果您使用的是 TPU 设备,请运行以下命令来装载 Persistent Disk 运行 25 万个 Pod
(vm)$ sudo mount -o discard,defaults /dev/sdb /mnt/disks/persist
如果您使用的是 TPU Pod,请在 TPU 虚拟机。它会将 Persistent Disk 装载到 Pod 中的所有 TPU 虚拟机上。
(vm)$ gcloud compute tpus tpu-vm ssh $TPU_NAME --worker=all --command="sudo mount -o discard,defaults /dev/sdb /mnt/disks/persist"
清理
使用完 TPU 资源后将其删除。
断开与 Compute Engine 实例的连接(如果您尚未这样做):
(vm)$ exit
您的提示符现在应为
username@projectname
,表明您位于 Cloud Shell 中。删除您的 Cloud TPU 和 Compute Engine 资源。
$ gcloud compute tpus tpu-vm delete tpu-name \ --zone=zone
通过运行
gcloud list
验证资源是否已删除。删除操作可能需要几分钟时间才能完成。gcloud list
的输出 不应显示此过程创建的任何 TPU 虚拟机资源。$ gcloud compute tpus tpu-vm list --zone=zone
验证在执行 Persistent Disk 命令时, 已通过列出您创建的可用区中的所有磁盘,删除了 TPU 虚拟机 Persistent Disk:
$ gcloud compute disks list --filter="zone:( us-central1-b )"
如果在删除 TPU 虚拟机时未删除 Persistent Disk,请使用 将其删除:
$ gcloud compute disks delete disk-name \ --zone zone