Profiler votre modèle avec les outils Cloud TPU

Le profilage vous permet d'optimiser les performances de l'entraînement de votre modèle sur les Cloud TPU. Vous pouvez profiler votre modèle à l'aide de TensorBoard et du plug-in Cloud TPU TensorBoard.

Pour en savoir plus sur l'utilisation de TensorBoard avec l'un des frameworks compatibles, consultez les documents suivants:

Conditions préalables au profilage d'un script d'entraînement

Avant d'utiliser les outils de profilage TPU, vous devez:

Démarrer une session d'entraînement de modèle
1. Configurez un TPU v4-8 pour entraîner un modèle. La procédure de profilage décrite dans ce document utilise un modèle ResNet, mais vous pouvez en utiliser un autre à condition qu'il s'entraîne sur un TPU v4.
2. Dans votre VM TPU, ajoutez une ligne pour démarrer le serveur du profileur dans le script d'entraînement.
  
  Pour l'entraînement ResNET, le script d'entraînement est à l'adresse suivante : /usr/share/tpu/tensorflow/resnet50_keras/resnet50.py.
  
  Insérez les lignes en surbrillance dans resnet50.py. En haut du fichier, ajoutez l'importation suivante:
```
import tensorflow.compat.v2 as tf2
```
  Juste avant que les scripts ne commencent la boucle d'entraînement, ajoutez la ligne en surbrillance:
```
if name == 'main':
 tf.logging.set_verbosity(tf.logging.INFO)
 tf2.profiler.experimental.server.start(6000)
 app.run(main)
```
  Le serveur du profileur TensorFlow démarre sur votre VM TPU lorsque vous exécutez le script.
3. Démarrez l'entraînement du modèle.
  
  Exécutez le script d'entraînement et attendez que le résultat indique que votre modèle est en cours d'entraînement. Le résultat dépend de votre code et de votre modèle. Recherchez un résultat semblable à Epoch 1/100. Vous pouvez également accéder à la page Cloud TPU dans la console Google Cloud, sélectionner votre TPU et afficher le graphique d'utilisation du processeur. Bien que le graphique d'utilisation du processeur n'indique pas l'utilisation du TPU, cela indique bien que le TPU entraîne votre modèle.

Commencer à profiler l'entraînement du modèle

Pendant l'entraînement du modèle, ouvrez une fenêtre de terminal distincte ou une fenêtre Cloud Shell. Suivez la procédure ci-dessous pour commencer à profiler l'entraînement du modèle.

Dans la nouvelle fenêtre ou la nouvelle interface système, connectez-vous à votre VM TPU avec transfert de port.
```
gcloud compute tpus tpu-vm ssh your-vm --zone=us-central2-b --ssh-flag="-4 -L 9001:localhost:9001"
```
Le transfert de port permet à votre navigateur local de communiquer avec le serveur TensorBoard exécuté sur votre VM TPU.
Installez les exigences TensorFlow {: id="install-tensorboard"}.

TensorBoard est installé par défaut sur votre VM TPU. Vous pouvez également installer TensorFlow manuellement. Dans tous les cas, des dépendances supplémentaires peuvent être requises. Installez les dépendances suivantes sur votre VM TPU en exécutant la commande suivante:
```
pip3 install -r /usr/share/tpu/models/official/requirements.txt
```
Installez le plug-in Cloud TPU TensorBoard {: id="install-plugin"}.

À partir de la VM TPU, exécutez les commandes suivantes:
```
 pip3 install --upgrade "cloud-tpu-profiler>=2.3.0"
 pip3 install tensorflow
 pip3 install tensorboard_plugin_profile
```
Démarrer le serveur TensorBoard

Exécutez TensorBoard et créez un répertoire de journal (logdir) sur la VM TPU sur laquelle TensorBoard peut écrire des données de profilage. Spécifiez le répertoire du journal à l'aide de l'option --logdir. Exemple :
```
mkdir log-directory
TPU_LOAD_LIBRARY=0 tensorboard --logdir log-directory --port 9001
```

TensorBoard démarre un serveur Web et affiche son URL:

Serving TensorBoard on localhost; to expose to the network, use a proxy or pass --bind_all
TensorBoard 2.3.0 at http://localhost:9001 (Press CTRL+C to quit)

Ouvrez un navigateur Web et accédez à l'URL affichée dans le résultat de TensorBoard. Sélectionnez Profil dans le menu déroulant en haut à droite de la page TensorBoard. La liste des outils de profilage disponibles s'affiche dans le menu déroulant tools dans la barre latérale gauche.

Capturer un profil sur des VM TPU

Sélectionnez le bouton CAPTURE PROFILE (CAPTURER LE PROFIL).
Sélectionnez la case d'option Adresse IP.
Saisissez HOSTNAME:6000 dans le champ Profile Service URL.
Sélectionnez le bouton CAPTURE (Capturer).

Afficher les données de profil avec TensorBoard

Après avoir capturé un profil, TensorBoard affiche la page overview_page. La liste des outils de profilage disponibles s'affiche dans le volet de gauche.

Profilez une

L'onglet Profil s'affiche une fois que vous avez capturé des données de modèle. Vous devrez peut-être cliquer sur le bouton d'actualisation de la page TensorBoard. Une fois les données disponibles, cliquez sur l'onglet Profil pour afficher une sélection d'outils d'analyse des performances. Vous pouvez utiliser l'un des outils suivants pour profiler votre modèle.

Page de présentation
Analyseur du pipeline d'entrée
Profil d'opération XLA
Lecteur de traces (navigateur Chrome uniquement)
Lecteur de mémoire

Page de présentation du profil

La page de présentation (overview_page), disponible sur la page Profil, fournit une vue d'ensemble des performances de votre modèle lors d'une exécution de capture. Cette page présente une vue d'ensemble de tous vos TPU et une analyse globale du pipeline d'entrée. Une option permettant de sélectionner des TPU individuels figure dans la liste déroulante Hôte.

La page affiche les données dans les panneaux suivants :

Performance summary (Résumé des performances)
- Utilisation de FLOPS : pourcentage d'utilisation des unités matricielles du TPU
Les 10 principales opérations TensorFlow sur TPU affiche les opérations TensorFlow les plus consommées:

Chaque ligne affiche le temps d'exécution d'une opération (en pourcentage du temps passé par toutes les opérations), le temps cumulé, la catégorie, le nom et le taux de FLOPS atteint.
Run Environment (Environnement d'exécution)
- Nombre d'hôtes utilisés
- Type de TPU utilisé
- Nombre de cœurs de TPU

Analyseur du pipeline d'entrée

L'analyseur du pipeline d'entrée fournit des insights sur vos résultats de performances. Il affiche les résultats de performances du fichier input_pipeline.json collecté par l'outil capture_tpu_profile.

L'outil vous indique immédiatement si votre programme est subordonné aux entrées et peut vous guider dans l'analyse côté appareil et côté hôte pour déboguer quelle étape du pipeline crée des goulots d'étranglement.

Consultez les conseils en matière de performances du pipeline d'entrée pour obtenir des informations plus détaillées sur leur optimisation.

Pipeline d'entrée

Lorsqu'un programme TensorFlow lit les données d'un fichier, le processus de lecture est divisé en plusieurs étapes de traitement de données connectées en série. Le résultat d'une étape est l'entrée de l'étape suivante. Ce système de lecture se nomme pipeline d'entrée.

Pour lire des enregistrements à partir de fichiers, un pipeline type comprend les étapes suivantes :

Lecture des fichiers
Prétraitement des fichiers (facultatif)
Transfert des fichiers de la machine hôte vers l'appareil

Un pipeline d'entrée inefficace peut considérablement ralentir votre application. Une application est considérée comme subordonnée aux entrées lorsqu'elle passe une part importante de son temps dans le pipeline d'entrée. Utilisez l'analyseur du pipeline d'entrée pour comprendre où le pipeline d'entrée est inefficace.

Tableau de bord du pipeline d'entrée

Pour ouvrir l'analyseur du pipeline d'entrée, sélectionnez Profil, puis input_pipeline_analyzer dans la liste déroulante Outils.

Le tableau de bord affiche les détails de l'analyse côté appareil et côté hôte.

Analyse côté appareil : affiche des informations sur les temps de processeur.

Statistiques sur le temps passé sur l'appareil
% du temps de pas de l'appareil pour les données d'entrée

Analyse côté hôte

Cette section présente les détails de l'analyse côté hôte divisée en plusieurs catégories:

Mise en file d'attente des données à transférer sur l'appareil. Temps passé à placer des données dans une file d'attente d'alimentation avant de les transférer sur l'appareil.
Prétraitement des données : temps consacré aux opérations de prétraitement, telles que la décompression d'images.
Lecture à l'avance des données de fichiers : temps passé à lire les fichiers, y compris la mise en cache, le préchargement et l'entrelacement.
Lecture des données de fichiers à la demande : temps consacré à la lecture des données de fichiers sans mise en cache, prérécupération et entrelacement.
Autres opérations de lecture ou de traitement des données : temps consacré aux autres opérations d'entrée n'utilisant pas tf.data.

Pour afficher les statistiques d'opérations d'entrée individuelles et leurs catégories ventilées par temps d'exécution, développez la section Show Input Op statistics.

Une table de données source de ce type s'affiche :

Chaque entrée de la table contient les informations suivantes :

Input Op (Opération d'entrée) : affiche le nom de l'opération d'entrée TensorFlow.
Count (Nombre) : indique le nombre total d'instances exécutées à l'opération pendant la période de profilage.
Durée totale (en ms) : durée cumulée passée sur chacune des instances d'opération.
Temps total (%) : affiche le temps total passé sur une opération sous la forme d'une fraction du temps total consacré au traitement des entrées.
Temps propre total (en ms) affiche le temps cumulé sur toutes les instances de la fonction. Le temps propre mesure le temps passé dans le corps de la fonction, à l'exclusion du temps passé dans toutes les fonctions qu'il appelle. Par exemple, le Iterator::PaddedBatch::Filter::ForeverRepeat::Map est appelé par Iterator::PaddedBatch::Filter. Par conséquent, son temps libre total est exclu du temps propre total de ce dernier.
%temps total total affiche le temps propre total sous la forme d'une fraction du temps total consacré au traitement des entrées.
Category : indique la catégorie de traitement de l'opération d'entrée.

Profil d'opération

Le profil d'opération est un outil Cloud TPU qui affiche les statistiques de performances des opérations XLA exécutées au cours d'une période de profilage. Le profil de l'opération affiche les éléments suivants:

Le degré d'utilisation de la ressource Cloud TPU par l'application, sous la forme d'un pourcentage du temps consacré aux opérations par catégorie et de l'utilisation des FLOPS TPU.
Les opérations les plus longues (qui constituent des cibles potentielles d'optimisation).
Des détails sur les opérations individuelles, y compris la forme, le remplissage et les expressions utilisant ces opérations.

Le profil d'opération peut vous permettre de trouver des cibles à optimiser. Par exemple, vous pouvez utiliser le profil d'opération pour identifier les opérations XLA dont l'exécution prend le plus de temps et le nombre de FLOPS TPU qu'elles consomment.

Utiliser un profil d'opération

Lors de la collecte des profils, capture_tpu_profile crée également un fichier op_profile.json qui contient les statistiques de performance des opérations XLA.

Vous pouvez afficher les données d'op_profile dans TensorBoard en cliquant sur l'onglet Profile (Profil) en haut de l'écran, puis en sélectionnant op_profile dans la liste déroulante Tools (Outils). Voici ce qui s'affiche :

La section Présentation montre l'utilisation de Cloud TPU et fournit des suggestions d'optimisation.
Le panneau de configuration contient des commandes qui vous permettent de définir le nombre d'opérations affichées dans la table, les opérations affichées et leur mode de tri.
Table d'opérations : table répertoriant les principales catégories d'opérations TensorFlow associées aux opérations XLA. Ces opérations sont triées en fonction du pourcentage d'utilisation de Cloud TPU.
Fiches de détails de l'opération : affichent les détails des opérations qui apparaissent lorsque vous pointez sur une opération dans le tableau. Ces détails incluent l'utilisation des FLOPS, l'expression dans laquelle l'opération est utilisée et la mise en page de l'opération (ajustement).

Table d'opérations XLA

Le tableau des opérations répertorie les catégories d'opérations XLA du plus élevé au plus faible pourcentage d'utilisation de Cloud TPU. La table indique le pourcentage de temps pris, le nom de la catégorie d'opération, le nom d'opération TensorFlow associé et le pourcentage d'utilisation de FLOPS pour la catégorie. Pour afficher (ou masquer) les dix opérations XLA les plus longues d'une catégorie, cliquez sur le triangle en regard du nom de la catégorie dans le tableau.

Durée indique le pourcentage total du temps passé par toutes les opérations de cette catégorie. Vous pouvez cliquer pour développer l'entrée et voir la répartition du temps passé par opération.
Top 10 : le bouton situé à côté d'un nom de catégorie permet d'afficher ou de masquer les 10 opérations les plus longues de la catégorie. Si une entrée d'opération de fusion est affichée dans la liste des opérations, vous pouvez la développer pour afficher les opérations de fusion au niveau de l'élément qu'elle contient.
TensorFlow Op (Opération TensorFlow) : affiche le nom de l'opération TensorFlow associée à l'opération XLA.
FLOPS indique l'utilisation des FLOPS. Celle-ci correspond au nombre mesuré de FLOPS, exprimé en pourcentage du pic de FLOPS Cloud TPU. Plus le pourcentage d'utilisation de FLOPS est élevé, plus les opérations sont rapides. Les cellules de cette colonne incluent un code couleur : vert en cas d'utilisation élevée des FLOPS (bonne) et rouge en cas de faible utilisation des FLOPS (mauvaise).

Cartes de détails de l'opération

Lorsque vous sélectionnez une entrée de table, une carte s'affiche avec des détails sur l'opération XLA ou la catégorie d'opération. Une carte type se présente comme suit :

Nom et Catégorie : affichent le nom et la catégorie de l'opération XLA en surbrillance.
Utilisation des FLOPS Affiche l'utilisation des FLOPS, sous la forme d'un pourcentage du nombre total de FLOPS possible.
Expression : affiche l'expression XLA contenant l'opération.
Utilisation de la mémoire : affiche le pourcentage d'utilisation maximale de la mémoire par votre programme.
Mise en page (opérations de convolution uniquement) Affiche la forme et la mise en page d'un Tensor, y compris une description de la marge intérieure effectuée par le compilateur XLA.

Interpréter les résultats

Pour les opérations de convolution, une faible utilisation des FLOPS TPU peut être due à l'une des raisons suivantes, ou aux deux:

Remplissage (les unités matricielles sont partiellement utilisées)
l'opération de convolution est liée à la mémoire

Cette section donne une interprétation de certaines métriques de performances d'un modèle avec une faible utilisation des FLOP. Dans cet exemple, la fusion de la sortie et la convolution ont dominé le temps d'exécution. De nombreuses opérations vectorielles ou scalaires ont eu une faible utilisation des FLOP.

Une stratégie d'optimisation pour ce type de profil consiste à transformer les opérations vectorielles ou scalaires en opérations de convolution.

Dans l'exemple suivant, %convolution.399 affiche une utilisation des FLOPS et de la mémoire inférieure à celle de %convolution.340 dans l'exemple précédent.

Dans cet exemple, la taille de lot est complétée jusqu'à 128 et la taille de la caractéristique est de 8. Dans ce cas, seulement 5% des unités matricielles sont utilisées efficacement. Utilisation calculée par (((batch_time * num_of_features) / padding_size / num_of_cores). Comparez les FLOPS de cet exemple au %convolution.340 de l'exemple précédent, qui n'utilise pas de marge intérieure.

Lecteur de traces

Le lecteur de traces est un outil d'analyse des performances Cloud TPU disponible sur la page Profil. Comme il utilise le lecteur de profilage d'événements de trace Chrome, il ne fonctionne que dans le navigateur Chrome.

Le lecteur de traces affiche une chronologie indiquant :

la durée des opérations exécutées par le modèle TensorFlow ;
la partie du système (TPU ou machine hôte) qui a exécuté une opération. En règle générale, la machine hôte exécute des opérations d'alimentation, qui prétraitent les données d'entraînement et les transfèrent au TPU, tandis que ce dernier exécute l'entraînement du modèle.

Le lecteur de traces vous permet d'identifier les problèmes de performances dans votre modèle, puis de prendre des mesures pour les résoudre. Par exemple, de manière générale, vous pouvez déterminer si l'entraînement du modèle d'alimentation ou du modèle prend le plus de temps. En affichant le détail, vous pouvez identifier les opérations TensorFlow dont l'exécution est la plus longue.

Le lecteur de traces est limité à un million d'événements pour chaque ressource Cloud TPU. Si vous devez évaluer plus d'événements, utilisez plutôt le lecteur de traces en flux continu.

Interface du lecteur de traces

Pour ouvrir le lecteur de traces, accédez à TensorBoard, cliquez sur l'onglet Profile (Profil) en haut de l'écran, puis sélectionnez trace_viewer dans la liste déroulante Tools (Outils). Le lecteur affiche l'exécution la plus récente :

Cet écran contient les principaux éléments suivants (indiqués par des chiffres dans la capture d'écran précédente):

Menu déroulant Exécutions : contient toutes les exécutions pour lesquelles vous avez capturé des informations de trace. L'affichage par défaut est votre exécution la plus récente, mais vous pouvez ouvrir la liste déroulante pour en sélectionner une autre.
Menu déroulant "Outils" : sélectionne différents outils de profilage.
Menu déroulant "Hôte" : sélectionne un hôte contenant un ensemble Cloud TPU.
Volet de chronologie Affiche les opérations que Cloud TPU et la machine hôte ont exécutées au fil du temps.
Volet "Détails" : affiche des informations supplémentaires sur les opérations sélectionnées dans le volet de chronologie.

Examinez de plus près le volet de chronologie :

Ce volet contient les éléments suivants :

Barre supérieure : contient différentes commandes auxiliaires.
Time axis (Axe de temps) : affiche l'heure par rapport au début de la trace.
Étiquettes de section et de piste : chaque section contient plusieurs pistes. Sur sa gauche figure également un triangle sur lequel vous pouvez cliquer pour la développer ou la réduire. Il y a une section pour chaque élément de traitement du système.
Sélecteur d'outils : contient différents outils permettant d'interagir avec le lecteur de traces.
Événements : indique la durée d'exécution d'une opération ou la durée de méta-événements, tels que les étapes d'entraînement.
Barre d'onglets verticale : cette barre n'est pas utile pour Cloud TPU. Cette barre fait partie de l'outil de lecture de traces à usage général fourni par Chrome et utilisé pour diverses tâches d'analyse des performances.

Sections et pistes

Le lecteur de traces comporte les sections suivantes :

Une section pour chaque nœud TPU, étiquetée avec le numéro de la puce TPU et du nœud TPU que celle-ci contient (par exemple, "Chip 2 : TPU Core 1" [Puce 2 : Cœur de TPU 1]). Chaque section de nœud TPU contient les pistes suivantes :
- Step (Étape) indique la durée des étapes d'entraînement exécutées sur le TPU.
- Opérations TensorFlow : affiche les opérations TensorFlow exécutées sur le TPU.
- XLA Ops (Opérations XLA) affiche les opérations XLA exécutées sur le TPU. (Chaque opération est traduite en une ou plusieurs opérations XLA.) Le compilateur XLA traduit les opérations XLA en code qui s'exécute sur le TPU.)
Une section pour les threads s'exécutant sur le processeur hôte,avec l'étiquette Threads hôtes. La section contient une piste pour chaque thread du processeur. Remarque : Vous pouvez ignorer les informations affichées à côté des étiquettes de section.

Sélecteur d'outils de chronologie

Vous pouvez interagir avec la vue de chronologie à l'aide du sélecteur d'outils de chronologie inclus dans TensorBoard. Vous pouvez cliquer sur un outil de chronologie ou utiliser les raccourcis clavier suivants pour activer un outil et le mettre en surbrillance. Pour déplacer le sélecteur d'outils de chronologie, cliquez dans la zone en pointillés en haut, puis faites-le glisser à l'emplacement souhaité.

Utilisez les outils de chronologie comme suit :

	Outil de sélection cliquez sur un événement pour le sélectionner, ou faites glisser pour sélectionner plusieurs événements. Des informations supplémentaires sur les événements sélectionnés (nom, heure de début et durée) s'affichent dans le volet de détails.
	Outil de panorama Faites glisser pour effectuer un panoramique de la chronologie horizontalement et verticalement.
	Outil de zoom Faites glisser vers le haut pour effectuer un zoom avant ou vers le bas pour effectuer un zoom arrière le long de l'axe horizontal (temps). La position horizontale du curseur de la souris détermine le centre autour duquel le zoom est effectué. Remarque:Si l'outil de zoom reste actif une fois que vous avez relâché le bouton de la souris, cliquez sur la vue chronologique pour désactiver l'outil Zoom.
	Outil de synchronisation Faites glisser horizontalement pour marquer un intervalle de temps. Sa longueur apparaît sur l'axe de temps. Pour ajuster l'intervalle, faites glisser ses extrémités. Pour l'effacer, cliquez n'importe où dans la vue de chronologie. Si vous sélectionnez un autre outil, l'intervalle reste marqué.

Lecteur de mémoire

Le lecteur de mémoire vous permet de visualiser les pics d'utilisation de la mémoire et les tendances d'utilisation de la mémoire de votre programme.

L'interface utilisateur du lecteur de mémoire se présente comme suit:

Menu déroulant Hôte : sélectionne un hôte TPU et des modules HLO (High Level Optimizer) XLA à visualiser.
Vue d'ensemble de la mémoire : indique les pics d'allocation et la taille de la mémoire sans remplissage.
Graphique de l'espace de travail : affiche l'utilisation maximale de la mémoire et un graphique des tendances d'utilisation de la mémoire pour votre programme. Pointez sur un tampon dans l'un des graphiques de tampons pour afficher des informations supplémentaires dans la fiche d'allocation de tampon.
Graphiques de tampons : deux graphiques affichant l'allocation de tampons au moment où la mémoire est la plus utilisée. Pointez vers un tampon dans l'un des graphiques de tampons pour afficher des informations supplémentaires dans la fiche de détails du tampon.
Fiche "Détails de l'allocation du tampon" : affiche les détails de l'allocation du tampon.

Panneau d'informations générales sur la mémoire

Le panneau d'informations générales sur la mémoire (en haut) affiche le nom du module et le pic d'allocation de mémoire défini lorsque la taille totale d'allocation du tampon atteint son maximum. La taille maximale d'allocation sans remplissage est également indiquée à titre de comparaison.

Graphique de l'espace de travail

Ce graphique affiche les pics d'utilisation de la mémoire et un graphique des tendances d'utilisation de la mémoire de votre programme. La ligne verticale indique l'utilisation maximale de la mémoire pour le programme. Ce graphique montre si votre programme peut s'adapter à l'espace mémoire mondial disponible.

Chaque point du graphique représente un "point de programme" du programme HLO XLA. Cette ligne vous montre l'évolution de l'utilisation de la mémoire de votre programme au fil du temps.

Interaction avec les éléments des graphiques de tampons

Lorsque vous pointez sur un tampon dans un graphique de tampons, une ligne horizontale indiquant la durée de vie du tampon apparaît dans le graphique de l'espace de travail.

L'épaisseur de la ligne horizontale indique la magnitude relative de la taille de la mémoire tampon par rapport au pic d'allocation de mémoire. La longueur de la ligne indique la durée de vie du tampon.

Graphiques de tampons

Deux graphiques montrent la répartition de l'utilisation de la mémoire au pic d'utilisation.

By Program Order (Par ordre de programme) Affiche les tampons de gauche à droite dans l'ordre dans lequel ils ont été actifs lors de l'exécution du programme.
Par taille affiche les tampons actifs pendant l'exécution du programme par ordre décroissant de taille.

Carte de détails d'allocation de tampon

Lorsque vous pointez sur un tampon affiché dans l'un des graphiques de tampons, une fiche de détails d'allocation du tampon apparaît. Une carte de détails type se présente comme suit :

Nom : nom de l'opération XLA.
Catégorie : catégorie de l'opération.
Taille : taille de l'allocation de tampon (remplissage compris).
Taille sans remplissage : taille de l'allocation de tampon sans marge intérieure.
Expansion : magnitude relative de la taille de la mémoire tampon avec remplissage par rapport à la taille sans remplissage.
Extra memory : indique la quantité de mémoire supplémentaire utilisée pour le remplissage.
Forme : décrit le rang, la taille et le type de données du tableau à N dimensions.
TensorFlow op name (Nom de l'opération TensorFlow) : affiche le nom de l'opération TensorFlow associée à l'allocation de tampon.
Allocation type (Type d'allocation) : indique la catégorie d'allocation du tampon : paramètre, sortie, thread local et temporaire (par exemple, allocation de tampon dans une fusion).

Mémoire insuffisante

Si vous exécutez un modèle et que vous obtenez une "erreur de mémoire insuffisante", utilisez la commande suivante pour capturer un profil de mémoire. Attendez que votre script entraîne votre modèle avant de démarrer le profileur. Vous pouvez spécifier la durée d'exécution du profileur à l'aide de l'option duration_ms. Le résultat de la commande peut vous aider à comprendre la cause de l'erreur :

  (vm)$ capture_tpu_profile --tpu=$TPU_NAME --logdir=log-directory --duration_ms=60000