Persistent Disk を TPU VM に追加する

TPU VM には 100 GB のブートディスクが含まれています。一部のシナリオでは、TPU VM にトレーニングや前処理のために追加のストレージが必要になる場合があります。Persistent Disk を追加して、ローカル ディスクの容量を増やすことができます。

概要

単一デバイスの TPU（v2-8、v3-8、v4-8 など）にアタッチされている Persistent Disk は、read-write または read-only として構成できます。Persistent Disk を TPU Pod の一部である TPU VM にアタッチすると、ディスクはその Pod 内の各 TPU VM にアタッチされます。1 つの Pod から 2 つ以上の TPU VM が同時に Persistent Disk に書き込まないようにするには、Pod 内の TPU VM にアタッチされているすべての Persistent Disk を read-only として構成する必要があります。read-only ディスクは、TPU Pod で処理するためのデータセットを保存する際に活用できます。

Persistent Disk を作成して TPU VM にアタッチしたら、Persistent Disk をマウントし、Persistent Disk にアクセスできるファイル システム内の場所を指定する必要があります。詳細については、ディスクのマウントをご覧ください。

前提条件

次の手順を使用する前に、Google Cloud アカウントとプロジェクトを設定しておく必要があります。Cloud TPU プロジェクトをまだ設定していない場合は、続行する前にアカウントと Cloud TPU プロジェクトを設定するの手順に従ってください。

手順の概要

Persistent Disk の設定手順の概要は次のとおりです。

1. Persistent Disk を作成する
2. Persistent Disk を TPU VM にアタッチする
3. Persistent Disk をマウントする
4. TPU VM と Persistent Disk のリソースをクリーンアップする

TPU VM と Persistent Disk の設定

TPU VM の作成時に、Persistent Disk を TPU VM にアタッチできます。Persistent Disk を既存の TPU VM にアタッチすることもできます。

Persistent Disk を作成する

Persistent Disk を作成するには、次のコマンドを使用します。

  $ gcloud compute disks create disk-name \
    --size disk-size  \
    --zone zone \
    --type pd-balanced

コマンドフラグの説明

disk-name

Persistent Disk に選択した名前。

disk-size

Persistent Disk のサイズ（GB）。

zone

Persistent Disk を作成するゾーン。これは、TPU の作成に使用されるゾーンと同じゾーンである必要があります。

type

追加するディスクタイプ。サポートされている型は pd-standard、pd-ssd、pd-balanced です。

Persistent Disk をアタッチする

Persistent Disk は、TPU VM の作成時に TPU VM にアタッチできます。また、TPU VM の作成後に追加することもできます。

TPU VM の作成時に Persistent Disk をアタッチする

注: TPU VM の起動時に指定する TPU ソフトウェア バージョンは、使用するフレームワーク、TensorFlow、PyTorch、JAX によって異なります。指定する TPU ソフトウェア バージョンを確認するには、Cloud TPU ソフトウェア バージョンをご覧ください。

TPU VM の作成時に Persistent Disk をアタッチするには、--data-disk フラグを使用します。TPU Pod を作成する場合は、mode=read-only を指定する必要があります。単一の TPU デバイスを作成する場合は、mode=read-only または mode=read-write を指定できます。次のコマンドは、1 つの TPU を作成し、Persistent Disk のモードを read-write に設定します。

  $ gcloud compute tpus tpu-vm create tpu-name \
    --project project-id \
    --zone=zone \
    --accelerator-type=v3-8 \
    --version=Cloud TPU software version \
    --data-disk source=projects/project-id/zones/zone/disks/disk-name,mode=read-write

注: TPU Pod を作成するには、--accelerator-type を TPU Pod タイプ（v4-32 など）に設定します。

コマンドフラグの説明

tpu-name

TPU リソースに選択した名前。

project

プロジェクト ID。

zone

Cloud TPU を作成するゾーン。

accelerator-type

アクセラレータ タイプでは、作成する Cloud TPU のバージョンとサイズを指定します。TPU のバージョンごとにサポートされているアクセラレータ タイプの詳細については、TPU のバージョンをご覧ください。

version

フレームワークの Cloud TPU ソフトウェアのバージョン。

data-disk

TPU VM にアタッチする Persistent Disk の名前と読み取り / 書き込みモード。

既存の TPU VM に Persistent Disk をアタッチする

gcloud alpha compute tpus tpu-vm attach-disk コマンドを使用して、Persistent Disk を既存の TPU VM にアタッチします。詳細と例については、gcloud のドキュメントをご覧ください。

  $ gcloud alpha compute tpus tpu-vm attach-disk tpu-name \
    --zone=zone \
    --disk=disk-name \
    --mode=disk-mode

コマンドフラグの説明

tpu-name

TPU リソースの名前。

zone

Cloud TPU が配置されているゾーン。

disk-name

TPU VM にアタッチする Persistent Disk の名前。

mode

ディスクのモード。モードは read-only または read-write のいずれかにする必要があります。

TPU VM の削除時に Persistent Disk を削除するには、次のコマンドを使用して Persistent Disk の自動削除状態を設定する必要があります。

重要: gcloud compute instances set-disk-auto-delete コマンドは、TPU VM ではなくローカルの Cloud Shell から実行する必要があります。

$ gcloud compute instances set-disk-auto-delete vm-instance \
  --zone=zone \
  --auto-delete \
  --disk=disk-name

コマンドフラグの説明

vm-instance

TPU VM に SSH 接続すると、シェル プロンプトが変更され、ユーザー ID の後に生成された VM インスタンス名が続きます（例:pjohnston@t1v-n-...$）。vm-instance を生成された VM インスタンス名に置き換えます。

zone

Persistent Disk が配置されているゾーン。

auto-delete

TPU リソースが削除されると、Persistent Disk が自動的に削除されます。

disk-name

Persistent Disk の名前。

なんらかの理由で VM がシャットダウンすると、Persistent Disk が切断される場合があります。VM の再起動時に Persistent Disk が自動的にマウントされるようにするには、システムの再起動時に自動マウントを構成するをご覧ください。

Persistent Disk の自動削除について詳しくは、Persistent Disk を変更するをご覧ください。

Persistent Disk をマウントする

TPU VM から Persistent Disk にアクセスするには、ディスクをマウントする必要があります。これにより、Persistent Disk にアクセスできる TPU VM ファイル システム内の場所を指定します。

1. SSH を使用して TPU VM に接続します。

   $ gcloud compute tpus tpu-vm ssh tpu-name --zone zone

   TPU Pod を使用する場合、Pod 内の TPU ごとに 1 つの TPU VM があります。前述のコマンドは、TPU デバイスと TPU Pod の両方に対して機能します。TPU Pod を使用している場合、このコマンドにより Pod の最初の TPU（ワーカー 0 とも呼ばれます）に接続されます。

2. TPU VM から、TPU VM に接続されているディスクを一覧表示します。

   (vm)$ sudo lsblk

   lsblk コマンドからの出力は次のようになります。

   NAME    MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
   loop0     7:0    0  55.5M  1 loop /snap/core18/1997
   loop1     7:1    0  67.6M  1 loop /snap/lxd/20326
   loop2     7:2    0  32.3M  1 loop /snap/snapd/11588
   loop3     7:3    0  32.1M  1 loop /snap/snapd/11841
   loop4     7:4    0  55.4M  1 loop /snap/core18/2066
   sda       8:0    0   300G  0 disk
   ├─sda1    8:1    0 299.9G  0 part /
   ├─sda14   8:14   0     4M  0 part
   └─sda15   8:15   0   106M  0 part /boot/efi
   sdb       8:16   0    10G  0 disk    <== Persistent Disk
   

   この例では、sda はブートディスク、sdb は新しくアタッチされた Persistent Disk の名前です。アタッチされる Persistent Disk の名前は、VM にアタッチされている Persistent Disk の数によって異なります。

   TPU Pod を使用する場合は、Pod 内のすべての TPU VM に Persistent Disk をマウントする必要があります。Persistent Disk の名前はすべての TPU VM で同じであるはずですが、保証されているわけではありません。たとえば、Persistent Disk のアタッチを解除して、再アタッチすると、デバイス名は増分され、sdb から sdc に変更されます。

3. ディスクがフォーマットされていない場合は、今すぐアタッチされた Persistent Disk をフォーマットしてください。

   注: Persistent Disk を TPU Pod にアタッチした場合、ディスクは読み取り専用ボリュームとしてアタッチされているため、事前にフォーマットされている必要があります。

   (vm)$ sudo mkfs.ext4 -m 0 -E lazy_itable_init=0,lazy_journal_init=0,discard /dev/sdb

4. Persistent Disk をマウントするディレクトリを作成します。

   TPU デバイスを使用している場合は、次のコマンドを実行して、Persistent Disk をマウントするディレクトリを作成します。

   (vm)$ sudo mkdir -p /mnt/disks/persist

   TPU Pod を使用している場合は、TPU VM の外部で次のコマンドを実行します。これにより、Pod 内のすべての TPU VM にディレクトリが作成されます。

   (vm)$ gcloud compute tpus tpu-vm ssh $TPU_NAME --worker=all --command="sudo mkdir -p /mnt/disks/persist"

5. Persistent Disk をマウントします。

   TPU デバイスを使用している場合は、次のコマンドを実行して、TPU VM に Persistent Disk をマウントします。

   (vm)$ sudo mount -o discard,defaults /dev/sdb /mnt/disks/persist

   TPU Pod を使用している場合は、TPU VM の外部で次のコマンドを実行します。Persistent Disk は、Pod 内のすべての TPU VM にマウントされます。

   (vm)$ gcloud compute tpus tpu-vm ssh $TPU_NAME --worker=all --command="sudo mount -o discard,defaults /dev/sdb /mnt/disks/persist"

クリーンアップ

それらが終了したら、TPU リソースを削除します。

1. Compute Engine インスタンスとの接続を切断していない場合は切断します。

   (vm)$ exit

   プロンプトが username@projectname に変わります。これは、現在、Cloud Shell 内にいることを示しています。

2. Cloud TPU と Compute Engine リソースを削除します。

   $ gcloud compute tpus tpu-vm delete tpu-name \
    --zone=zone

3. gcloud list を実行して、リソースが削除されたことを確認します。削除には数分かかることがあります。gcloud list の出力には、この手順によって作成された TPU VM リソースは表示されません。

   TPU VM

   $ gcloud compute tpus tpu-vm list --zone=zone

   TPU ノード

   $ gcloud compute tpus execution-groups list --zone zone

4. Persistent Disk を作成したゾーン内のすべてのディスクを一覧表示して、TPU VM の削除時に Persistent Disk が自動的に削除されたことを確認します。

   $ gcloud compute disks list --filter="zone:( us-central1-b )"

   TPU VM の削除時に Persistent Disk が削除されていない場合は、次のコマンドを使用して削除します。

   $ gcloud compute disks delete disk-name \
   --zone zone