Gérer les événements de maintenance avec les pods Cloud TPU

Présentation

Les VM TPU sont des instances de VM Compute Engine associées à du matériel TPU. Les VM Compute Engine sont soumises aux événements de maintenance des VM Compute Engine. Chaque TPU est connecté une VM Compute Engine. Ainsi, l'utilisation de TPU (par exemple, dans un pod TPU) augmente la probabilité que l'une de vos VM contienne un événement de maintenance.

Remarque : Les différences entre les VM TPU et les nœuds TPU sont décrites dans la section Architecture du système.

Ce document présente différentes approches de gestion des événements de maintenance pour les tâches d'entraînement de longue durée sur Cloud TPU.

Utiliser des points de contrôle pour une récupération rapide après des événements de maintenance

Les points de contrôle sont essentiels pour récupérer rapidement les données après un événement de maintenance et doivent être enregistrés fréquemment. Il est recommandé de les enregistrer environ toutes les heures. L'absence de points de contrôle fréquents risque de causer la perte d'une grande partie de la progression de l'entraînement en raison d'événements de maintenance ou d'autres interruptions.

Important :Lorsqu'un nœud TPU plante ou est arrêté pour un événement de maintenance, les les données stockées sur le disque de démarrage de la VM peuvent être perdues. Par conséquent, nous vous recommandons enregistrer des points de contrôle sur un espace de stockage externe, comme un disque persistant dans un bucket Cloud Storage. Pour en savoir plus, consultez la section Options de stockage TPU

Les points de contrôle font généralement référence à tous les paramètres enregistrés utilisés lors de l'entraînement (tels que les pondérations du modèle). Le temps nécessaire à l'enregistrement d'un point de contrôle est de quelques secondes à quelques minutes.

Bien que la plupart des événements de maintenance soient automatiquement récupérés et que les tâches d'entraînement se poursuivent sans intervention manuelle, il peut arriver que la tâche ne redémarre pas et continue automatiquement. Dans ce cas, vous devez supprimer et recréer les ressources TPU, puis redémarrer la tâche d'entraînement à partir d'un point de contrôle enregistré. Pour savoir comment détecter et récupérer de reprise après sinistre, consultez Détectez les défaillances du TPU et procédez à la récupération.

Les mécanismes utilisés pour enregistrer et charger les points de contrôle sont différents pour chaque ML. d'infrastructure. Les modèles Cloud TPU compatibles intègrent généralement des points de contrôle. Pour en savoir plus sur la création de points de contrôle, consultez les pages suivantes : TensorFlow 2.x, PyTorch ou JAX/flax.

Détecter des événements de maintenance

Vous pouvez détecter si et quand un événement de maintenance se produit sur votre TPU à l'aide de la commande gcloud describe suivante:

$ gcloud compute tpus tpu-vm describe tpu-name --zone=zone  | grep 'health'

Le résultat de cette commande affiche l'état actuel du TPU et une description de l'événement de maintenance le plus récent. Le résultat doit ressembler à ce qui suit:

health: HEALTHY
healthDescription: The TPU had a maintenance event at 2022-01-26T03:44:36.265703305Z

Journaux des événements de maintenance

Vous pouvez consulter les journaux historiques des événements de maintenance sur votre TPU dans les journaux d'audit des événements système.

Dans le menu de navigation de la console Google Cloud, cliquez sur Compute Engine > Instances de VM et recherchez, par exemple:

"tpu.nodes.terminate" OR "tpu.nodes.restart"

Les interruptions et réparations effectuées par vos travailleurs TPU pendant la période de recherche s'affichent. Les journaux indiquent la date et l'heure de l'événement, le type de un événement, et pour "terminer" les événements, le motif de la résiliation protoPayload.metadata.terminateReason

Gérer les événements de maintenance

Il existe plusieurs façons de limiter les interruptions liées aux événements de maintenance.

1. Enregistrer régulièrement les points de contrôle

   Dans l'idéal, lorsqu'un "événement d'interruption" se produit, l'entraînement reprend à partir du dernier point de contrôle.

2. Nouvelles tentatives d'exécution de script d'entraînement

   Le script d'entraînement peut s'arrêter en raison d'un "événement d'interruption". Vous pouvez utiliser un script bash pour relancer le script d'entraînement en continu jusqu'à la fin de l'entraînement. Chaque nouvelle tentative doit poursuivre à partir du dernier point de contrôle. Par conséquent, les scripts de nouvelle tentative doivent toujours être utilisés conjointement avec les points de contrôle.

   Les pipelines d'entraînement prêts pour la production doivent utiliser un système de gestion des ressources comme Google Kubernetes Engine (GKE). Pour en savoir plus sur l'utilisation Google Kubernetes Engine avec des VM TPU, consultez la page Déployer des charges de travail TPU. Vous pouvez implémenter un script bash pour relancer continuellement du script d'entraînement jusqu'à la fin. Exemple :

   while ! gcloud compute tpus tpu-vm ssh ${TPU_NAME} --command "python3 [training command]"; do sleep 1; done
   

   Remarque :Vous devez exécuter le script à partir d'une session Cloud Shell ou depuis un terminal, et non depuis la VM TPU).

3. Détecter et résoudre les défaillances de TPU

   Lorsqu'un TPU ne se rétablit pas après un événement de maintenance, vous pouvez utiliser un permettant de détecter l'état du TPU, puis de le supprimer et de le recréer. Exemple de ce script sont disponibles ici. Consultez la page Gérer les TPU pour en savoir plus sur supprimer et recréer manuellement des TPU.

   Lorsque vous créez ou recréez une VM TPU, vous pouvez spécifier un script de démarrage avec le paramètre --metadata startup-script. Un script de démarrage s'exécute chaque fois qu'une La VM TPU est créée. Consultez Exécuter des scripts d'installation standards pour en savoir plus.