Cette page a été traduite par l'API Cloud Translation.

Ajouter un disque persistant à une VM TPU

Une VM TPU inclut un disque de démarrage de 100 Go. Dans certains scénarios, votre VM TPU peut avoir besoin un espace de stockage supplémentaire pour l'entraînement ou le prétraitement. Vous pouvez ajouter un disque persistant pour augmenter la capacité de votre disque local.

Présentation

Un disque persistant associé à un TPU sur un seul appareil (v2-8, v3-8, v4-8, etc.) peut être configurée en tant que read-write ou read-only. Lorsque vous associez un disque persistant à un d'une VM TPU faisant partie d'un pod TPU, le disque est associé à chaque VM TPU de ce pod d'un pod. Pour empêcher deux VM TPU ou plus d'un pod d'écrire sur un disque persistant en même temps, tous les disques persistants associés à une VM TPU dans un pod doivent être configurés en tant que read-only. Les disques read-only sont utiles pour stocker un ensemble de données à des fins de traitement sur un pod TPU.

Après avoir créé un disque persistant et l'avez associé à votre VM TPU, vous devez installer le disque persistant, en spécifiant son emplacement dans le système de fichiers. sont accessibles. Pour en savoir plus, consultez la section Installer un disque.

Prérequis

Vous devez avoir configuré un projet et un compte Google Cloud pour pouvoir utiliser la en suivant les procédures. Si vous n'avez pas encore configuré de projet Cloud TPU, suivez la procédure décrite dans Configurer l'environnement Cloud TPU. avant de continuer.

Étapes majeures

Voici les grandes étapes à suivre pour configurer un disque persistant:

Créer un disque persistant
Associer un disque persistant à une VM TPU
Installer le disque persistant
Nettoyer les ressources de VM TPU et de disques persistants

Configurer une VM TPU et un disque persistant

Vous pouvez associer un disque persistant à une VM TPU lorsque vous créez la VM TPU. Vous pouvez associer un disque persistant à une VM TPU existante.

Créer un disque persistant

Utilisez la commande suivante pour créer un disque persistant:

  $ gcloud compute disks create disk-name \
    --size disk-size  \
    --zone zone \
    --type pd-balanced

Description des options de commande

disk-name: Nom de votre choix pour le disque persistant.
disk-size: Taille du disque persistant en Go.
zone: Zone dans lequel créer le disque persistant. Cela doit correspondre à la zone utilisée pour créer le TPU.
type: Le type de disque à ajouter. Les types acceptés sont les suivants: pd-standard, pd-ssd ou pd-balanced.

Associer un disque persistant

Vous pouvez associer un disque persistant à votre VM TPU lorsque vous créez le VM TPU, ou vous pouvez en ajouter une après la création de la VM TPU.

Associer un disque persistant lorsque vous créez une VM TPU

Utilisez l'option --data-disk pour associer un disque persistant lorsque vous créez une VM TPU. Si vous créez un pod TPU, vous devez spécifier mode=read-only. Si vous utilisez créant un seul appareil TPU, vous pouvez spécifier mode=read-only ou mode=read-write. La commande suivante crée un seul TPU et définit le mode Persistent Disk sur read-write:

  $ gcloud compute tpus tpu-vm create tpu-name \
    --project project-id \
    --zone=zone \
    --accelerator-type=v3-8 \
    --version=tpu-vm-image \
    --data-disk source=projects/project-id/zones/zone/disks/disk-name,mode=read-write

Description des options de commande

tpu-name: Nom que vous avez choisi pour les ressources TPU.
project: L'ID de votre projet.
zone: Zone dans lesquels créer votre Cloud TPU.
accelerator-type: Le type d'accélérateur spécifie la version et la taille de la ressource Cloud TPU que vous souhaitez créer. Pour en savoir plus sur les types d'accélérateurs compatibles avec chaque version de TPU, consultez Versions de TPU.
version: Les Image de VM TPU pour votre framework.
data-disk: Nom et mode lecture/écriture du disque persistant auquel s'associer la VM TPU.

Associer un disque persistant à une VM TPU existante

Utilisez la commande gcloud alpha compute tpus tpu-vm attach-disk pour associer Persistent Disk sur une VM TPU existante. Consultez le gcloud pour obtenir plus de détails et d'exemples.

  $ gcloud alpha compute tpus tpu-vm attach-disk tpu-name \
    --zone=zone \
    --disk=disk-name \
    --mode=disk-mode

Description des options de commande

tpu-name: Nom des ressources TPU.
zone: Zone où se situe le Cloud TPU.
disk-name: Nom du disque persistant à associer à la VM TPU.
mode: Mode du disque. Le mode doit être l'un des suivants: read-only ou read-write

Si vous souhaitez supprimer le disque persistant en même temps que la VM TPU, vous devez pour définir l'état de suppression automatique du disque persistant à l'aide de la commande suivante:

$ gcloud compute instances set-disk-auto-delete vm-instance \
  --zone=zone \
  --auto-delete \
  --disk=disk-name

Description des options de commande

vm-instance: Une fois que vous vous êtes connecté en SSH à la VM TPU, l'invite de l'interface système change pour inclure votre ID utilisateur suivi d'un nom d'instance de VM généré (par exemple, pjohnston@t1v-n-...$). Remplacez vm-instance par le nom d'instance de VM généré,
zone: Zone dans lequel se trouve le disque persistant.
auto-delete: Supprime automatiquement le disque persistant lorsque les ressources TPU sont supprimés.
disk-name: Nom de votre disque persistant.

Si votre VM s'arrête pour une raison quelconque, le disque persistant peut être déconnecté. Consultez la section Configurer l'installation automatique au redémarrage du système pour savoir Disque persistant à installer automatiquement au redémarrage de la VM

Pour en savoir plus sur la suppression automatique d'un disque persistant, consultez Modifiez un disque persistant.

Installer un disque persistant

Pour accéder à un disque persistant à partir d'une VM TPU, vous devez installer le disque. Cela spécifie l'emplacement dans le système de fichiers de la VM TPU où le disque persistant sont accessibles.

Connectez-vous à votre VM TPU à l'aide de SSH:
```
$ gcloud compute tpus tpu-vm ssh tpu-name --zone zone
```
Lorsque vous travaillez avec un pod TPU, chaque TPU du pod dispose d'une VM TPU. La commande précédente fonctionne à la fois pour les appareils TPU et les pods TPU. Si vous utilisez à l'aide de pods TPU, cette commande vous connecte au premier TPU du pod (également "nœud de calcul 0").
À partir de la VM TPU, répertoriez les disques associés à la VM TPU :
```
(vm)$ sudo lsblk
```
Le résultat de la commande lsblk doit se présenter comme suit:
```
NAME    MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop0     7:0    0  55.5M  1 loop /snap/core18/1997
loop1     7:1    0  67.6M  1 loop /snap/lxd/20326
loop2     7:2    0  32.3M  1 loop /snap/snapd/11588
loop3     7:3    0  32.1M  1 loop /snap/snapd/11841
loop4     7:4    0  55.4M  1 loop /snap/core18/2066
sda       8:0    0   300G  0 disk
├─sda1    8:1    0 299.9G  0 part /
├─sda14   8:14   0     4M  0 part
└─sda15   8:15   0   106M  0 part /boot/efi
sdb       8:16   0    10G  0 disk    <== Persistent Disk
```
Dans cet exemple, sda est le disque de démarrage et sdb est le nom du nouveau Persistent Disk associé. Le nom du disque persistant associé dépend de le nombre de disques persistants associés à la VM.

Lorsque vous utilisez un pod TPU, vous devez installer le disque persistant sur tous les TPU les VM de votre pod. Le nom du disque persistant doit être le même pour tous VM TPU, mais cela n'est pas garanti. Par exemple, si vous dissociez et réassocier le disque persistant, le nom de l'appareil sera incrémenté, de sdb à sdc.
Si le disque n'a pas été formaté, formatez le disque persistant associé maintenant:

Remarque :Si vous avez associé un disque persistant à un pod TPU, ce disque doit déjà car il est associé en tant que volume en lecture seule.
```
(vm)$ sudo mkfs.ext4 -m 0 -E lazy_itable_init=0,lazy_journal_init=0,discard /dev/sdb
```
Créez un répertoire pour installer le disque persistant:

Si vous utilisez un appareil TPU, exécutez la commande suivante pour créer un répertoire pour installer le disque persistant:
```
(vm)$ sudo mkdir -p /mnt/disks/persist
```
Si vous utilisez un pod TPU, exécutez la commande suivante en dehors de votre VM TPU. Le répertoire est alors créé sur toutes les VM TPU du pod.
```
(vm)$ gcloud compute tpus tpu-vm ssh $TPU_NAME --worker=all --command="sudo mkdir -p /mnt/disks/persist"
```
Installez le disque persistant:

Si vous utilisez un appareil TPU, exécutez la commande suivante pour installer le disque persistant. sur votre VM TPU.
```
(vm)$ sudo mount -o discard,defaults /dev/sdb /mnt/disks/persist
```
Si vous utilisez un pod TPU, exécutez la commande suivante en dehors de votre VM TPU. Il installera le disque persistant sur toutes les VM TPU de votre pod.
```
(vm)$ gcloud compute tpus tpu-vm ssh $TPU_NAME --worker=all --command="sudo mount -o discard,defaults /dev/sdb /mnt/disks/persist"
```

Effectuer un nettoyage

Supprimez les ressources TPU lorsque vous n'en avez plus besoin.

Déconnectez-vous de l'instance Compute Engine, si vous ne l'avez pas déjà fait :
```
(vm)$ exit
```
Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

Supprimez vos ressources Cloud TPU et Compute Engine.

$ gcloud compute tpus tpu-vm delete tpu-name \
 --zone=zone

Vérifiez que les ressources ont été supprimées en exécutant la commande gcloud list. La suppression peut prendre plusieurs minutes. Le résultat de gcloud list ne doit afficher aucune des ressources de VM TPU créées par cette procédure.
```
$ gcloud compute tpus tpu-vm list --zone=zone
```
Vérifiez que le disque persistant a été automatiquement supprimé au moment La VM TPU a été supprimée en répertoriant tous les disques de la zone où vous avez créé la VM Persistent Disk:
```
$ gcloud compute disks list --filter="zone:( us-central1-b )"
```
Si le disque persistant n'a pas été supprimé lors de la suppression de la VM TPU, utilisez la les commandes suivantes pour la supprimer:
```
$ gcloud compute disks delete disk-name \
--zone zone
```