Tableaux de bord de surveillance et de journalisation Cloud TPU
Le dépôt des tableaux de bord de surveillance et de débogage Cloud TPU contient toute l'infrastructure et la logique requises pour surveiller et déboguer les workflows exécutés sur des VM TPU. Il nécessite Terraform, un outil Open Source qui utilise des fichiers de configuration pour définir et gérer l'infrastructure Google Cloud.
Tableau de bord Monitoring
Le tableau de bord de surveillance affiche les métriques Cloud TPU suivantes :
- Utilisation du processeur sur le nœud de calcul TPU :
cpu/utilization
- Utilisation de la mémoire par VM TPU :
memory/usage
- Octets réseau reçus par un pod sur le réseau:
network/received_bytes_count
- Octets réseau envoyés par un pod sur le réseau :
network/sent_bytes_count
- Durée d'inactivité TensorCore de la puce TPU:
tpu/tensorcore/idle_duration
Cloud Monitoring génère automatiquement des données de métriques. Pour afficher les métriques accédez à la console Google Cloud, sélectionnez Monitoring, puis Tableaux de bord. Sélectionnez GCE - TPU Monitoring Dashboard (Tableau de bord de surveillance des TPU) dans le liste des tableaux de bord. Le tableau de bord de surveillance de Cloud TPU se compose d'un Nombre de volets, chacun affichant des données de métriques. Pour chaque métrique Cloud TPU, le tableau de bord affiche les valeurs actuelles de la métrique, la moyenne et les valeurs maximales dans des volets distincts. Les volets moyen et maximum vous permettent d'identifier les anomalies VM TPU pour un examen plus approfondi.
Vous pouvez également afficher les métriques TPU à l'aide de l'Explorateur de métriques dans Cloud Monitoring. console Google Cloud. Pour en savoir plus, consultez la page Surveiller des VM Cloud TPU.
Tableau de bord Logging
Le tableau de bord de journalisation affiche deux sections :
- Métriques de journal : affiche le nombre d'entrées de trace de pile collectées pour chaque nœud de calcul de VM TPU.
- Panneau "Journaux" : affiche toutes les entrées de la trace de la pile avec des colonnes pour la gravité, l'horodatage et un résumé de l'entrée. Vous pouvez filtrer ce panneau de journaux par chaîne ou par libellé de nœud de travail TPU, comme
node_id
ouworker_id
. Par exemple : l'ajout d'un filtreresource.labels.node_id:"testing"
affiche toutes les traces Entrées collectées pour le nœud de calcul de VM TPU dont l'ID est défini sur "testing".
Cloud Logging collecte les entrées de journal générées par les services Google Cloud, les services tiers, les frameworks de ML et votre code. Vous pouvez installer le package PyPi cloud-tpu-diagnostics
pour écrire des traces de pile Python en cas de défaillance ou d'exception, ou lorsque votre charge de travail ne répond pas. Pour en savoir plus, consultez
Déboguer des VM Cloud TPU.
Pour afficher le tableau de bord de journalisation, accédez à la console Google Cloud, sélectionnez Monitoring (Surveillance), puis Dashboards (Tableaux de bord). Sélectionnez GCE - TPU Logging Dashboard (GCE - Tableau de bord de journalisation TPU) dans la liste des tableaux de bord.
Configurer les tableaux de bord des métriques et de la journalisation
Suivez ces instructions pour configurer les tableaux de bord des métriques et de la journalisation.
Cloner le dépôt du tableau de bord
Vous pouvez cloner le dépôt directement à partir du dépôt GitHub de surveillance et de débogage de Cloud TPU ou à partir de la ligne de commande :
git clone https://github.com/google/cloud-tpu-monitoring-debugging.git
Installer Terraform
- Installez Terraform sur votre machine locale.
- Exécutez
terraform init
pour ajouter les plug-ins nécessaires et créer le répertoire.terraform
. - Exécutez
terraform init –upgrade
pour installer les mises à jour disponibles.
Configurer les autorisations de surveillance et de journalisation
Administrateur Monitoring, Éditeur de configuration du tableau de bord Monitoring et Administrateur Logging sont requis pour déployer des ressources de surveillance dans votre projet Google Cloud. Pour en savoir plus sur les rôles de surveillance, consultez Accorder l'accès à Cloud Monitoring.
Créer un bucket Cloud Storage
Créez un bucket Cloud Storage pour stocker les fichiers d'état Terraform. Vous pouvez également utiliser un bucket Cloud Storage existant. L'utilisation d'un bucket Cloud Storage garantit plusieurs utilisateurs peuvent exécuter Terraform en même temps et accéder de l'infrastructure.
Dans Cloud Shell, créez le bucket Cloud Storage :
gcloud storage buckets create gs://${GCS_BUCKET_NAME}
Activez la gestion des versions des objets pour conserver l'historique de vos déploiements. L'activation de la gestion des versions des objets augmente les coûts de stockage. Vous pouvez limiter cette augmentation des coûts en configurant la gestion du cycle de vie des objets afin de supprimer les anciennes versions d'état.
gcloud storage buckets update gs://${GCS_BUCKET_NAME} --versioning
Initialiser Terraform
Exécutez terraform init
dans le répertoire gcp_resources/gce
du dépôt.
La commande vous invite à saisir le nom d'un bucket Cloud Storage à stocker
les fichiers d'état Terraform.
Déployer les tableaux de bord de surveillance et de journalisation
Exécutez terraform apply
dans le répertoire gcp_resources/gce
pour déployer les tableaux de bord de surveillance et de journalisation dans votre projet Google Cloud. La commande
vous invite à fournir des valeurs pour les variables suivantes:
var.monitoring_dashboard_config
var.project_name
var.stack_trace_bucket_config
Si vous souhaitez ne déployer que le tableau de bord de surveillance, exécutez terraform init
.
et terraform apply
dans gcp_resources/gce/dashboard/monitoring_dashboard
. De même, exécutez ces commandes dans
Répertoire gcp_resources/gce/dashboard/logging_dashboard
pour ne déployer que le
dans le tableau de bord Cloud Logging.
Exemples de configurations
Lorsque vous exécutez terraform apply
, Terraform vous invite à saisir certaines valeurs de variables de configuration. Cette section fournit des exemples de configurations que vous pouvez utiliser.
Chaque exemple montre la sortie affichée par la commande terraform apply, ainsi que les valeurs suggérées pour chaque variable de configuration en gras. Entrée
doit être au format JSON entouré d'accolades ("{}").
Exemple 1
Cet exemple spécifie le nom du projet Google Cloud et utilise les valeurs par défaut pour le reste de la configuration.
var.project_name
Name of gcp project
Enter a value: <gcp_project_name>
var.stack_trace_bucket_config
Configuration to create a log bucket to store stack traces:
{
"bucket_name": "name of log bucket to create",
"retention_days": <number of days to retain stack traces, default to 30 days if not set>
}
Enter {} to not create separate bucket for stack traces.
Enter a value: {}
var.monitoring_dashboard_config
Configuration for monitoring dashboard:
{
"node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
"outlier_count": <the number of outliers to show on dashboard, default to 10 if not set>
}
Enter {} to set default configuration for monitoring dashboard.
Enter a value: {}
Exemple 2
Dans cet exemple, le tableau de bord est configuré pour afficher cinq VM TPU aberrantes.
var.project_name
Name of gcp project
Enter a value: <gcp_project_name>
var.stack_trace_bucket_config
Configuration to create a log bucket to store stack traces:
{
"bucket_name": "name of log bucket to create",
"retention_days": <number of days to retain stack traces, default to 30 days if not set>
}
Enter {} to not create separate bucket for stack traces.
Enter a value: {}
var.monitoring_dashboard_config
Configuration for monitoring dashboard:
{
"node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
"outlier_count": <number of outliers to show on dashboard, default to 10 if not set>
}
Enter {} to set default configuration for monitoring dashboard.
Enter a value: {"outlier_count":5}
Exemple 3
Cette configuration crée un tableau de bord qui affiche 10 VM TPU aberrantes utilisant "test" comme préfixe des noms de nœuds générés par le tableau de bord:
var.project_name
Name of gcp project
Enter a value: <gcp_project_name>
var.stack_trace_bucket_config
Configuration to create a log bucket to store stack traces:
{
"bucket_name": "name of log bucket to create",
"retention_days": <number of days to retain stack traces, default to 30 days if not set>
}
Enter {} to not create separate bucket for stack traces.
Enter a value: {}
var.monitoring_dashboard_config
Configuration for monitoring dashboard:
{
"node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
"outlier_count": <number of outliers to show on dashboard, default to 10 if not set>
}
Enter {} to set default configuration for monitoring dashboard.
Enter a value: {"node_prefix":"test"}
Exemple 4
Cette configuration crée un tableau de bord qui affiche cinq VM aberrantes à l'aide de la méthode "test" en tant que Préfixe des noms de nœuds générés par le tableau de bord.
var.project_name
Name of gcp project
Enter a value: <gcp_project_name>
var.stack_trace_bucket_config
Configuration to create a log bucket to store stack traces:
{
"bucket_name": "name of log bucket to create",
"retention_days": <number of days to retain stack traces, default to 30 days if not set>
}
Enter {} to not create separate bucket for stack traces.
Enter a value: {}
var.monitoring_dashboard_config
Configuration for monitoring dashboard:
{
"node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
"outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
}
Enter {} to set default configuration for monitoring dashboard.
Enter a value: {"node_prefix":"test", "outlier_count":5}
Exemple 5
Cet exemple configure un bucket Cloud Storage pour stocker des traces de pile. La Les traces de la pile ont une règle de conservation par défaut de 30 jours.
var.project_name
Name of gcp project
Enter a value: <gcp_project_name>
var.stack_trace_bucket_config
Configuration to create a log bucket to store stack traces:
{
"bucket_name": "name of log bucket to create",
"retention_days": <number of days to retain stack traces, default to 30 days if not set>
}
Enter {} to not create separate bucket for stack traces.
Enter a value: {"bucket_name":"stack_trace_log_bucket"}
var.monitoring_dashboard_config
Configuration for monitoring dashboard:
{
"node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
"outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
}
Enter {} to set default configuration for monitoring dashboard.
Enter a value: {}
Exemple 6
Cet exemple configure un bucket Cloud Storage avec une durée de conservation de 20 jours.
var.project_name
Name of gcp project
Enter a value: <gcp_project_name>
var.stack_trace_bucket_config
Configuration to create a log bucket to store stack traces:
{
"bucket_name": "name of log bucket to create",
"retention_days": <number of days to retain stack traces, default to 30 days if not set>
}
Enter {} to not create separate bucket for stack traces.
Enter a value: {"bucket_name":"stack_trace_log_bucket", "retention_days":20}
var.monitoring_dashboard_config
Configuration for monitoring dashboard:
{
"node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
"outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
}
Enter {} to set default configuration for monitoring dashboard.
Enter a value: {}