Dashboard di monitoraggio e logging di Cloud TPU

Le dashboard di monitoraggio e debug di Cloud TPU che contiene tutta l'infrastruttura e la logica necessarie per monitorare eseguire il debug dei flussi di lavoro in esecuzione sulle VM TPU. Richiede Terraform, uno strumento open source che utilizza i file di configurazione per definire e gestire Google Cloud dell'infrastruttura.

Dashboard di monitoraggio

La dashboard di monitoraggio mostra le seguenti metriche di Cloud TPU:

• Utilizzo CPU sul worker TPU: cpu/utilization
• Memoria utilizzata per VM TPU: memory/usage
• Byte di rete ricevuti da un pod sulla rete: network/received_bytes_count
• Byte di rete inviati da un pod sulla rete: network/sent_bytes_count
• Durata di inattività TensorCore del chip TPU: tpu/tensorcore/idle_duration

Cloud Monitoring genera automaticamente i dati delle metriche. Per visualizzare il monitoraggio dashboard, vai alla console Google Cloud, seleziona Monitoring e poi Dashboard. Seleziona GCE - Dashboard di monitoraggio TPU nella delle dashboard. La dashboard di monitoraggio di Cloud TPU è composta da numero di riquadri, ciascuno dei quali mostra i dati delle metriche. Per ogni metrica Cloud TPU, visualizza i valori correnti delle metriche, la media e i valori massimi in riquadri separati. I riquadri Media e Massimo consentono di identificare outlier VM TPU per ulteriori indagini.

Puoi visualizzare le metriche TPU anche utilizzando Metrics Explorer in Cloud Monitoring nella console Google Cloud. Per ulteriori informazioni, consulta Monitoraggio delle VM di Cloud TPU.

Dashboard di Logging

La dashboard di logging visualizza due sezioni:

1. Metriche di log: visualizza il conteggio delle voci di analisi dello stack raccolte per ogni Worker VM TPU.
2. Riquadro Log: visualizza tutte le voci dell'analisi dello stack con le colonne per gravità, timestamp e un riepilogo della voce. Puoi filtrare questo riquadro dei log in base a stringa, oppure etichette worker TPU come node_id, worker_id. Ad esempio: L'aggiunta di un filtro resource.labels.node_id:"testing" visualizza tutta la traccia raccolte per il worker della VM TPU con l'ID impostato su "testing".

Cloud Logging raccoglie le voci di log generate dai servizi Google Cloud, di terze parti, framework ML e il tuo codice. Puoi installare cloud-tpu-diagnostics PyPi un pacchetto per scrivere analisi dello stack Python quando si verifica un errore o un'eccezione o quando il carico di lavoro non risponde. Per ulteriori informazioni, vedi Debug delle VM di Cloud TPU.

Per visualizzare la dashboard di logging, vai alla console Google Cloud e seleziona Monitoring. e poi su Dashboard. Seleziona GCE - Dashboard di logging TPU in l'elenco delle dashboard.

Configura le metriche e le dashboard di logging

Segui queste istruzioni per configurare le metriche e le dashboard di logging.

clona il repository della dashboard

Puoi clonare il repository direttamente dal repository GitHub di monitoraggio e debug di Cloud TPU o dalla riga di comando:

git clone https://github.com/google/cloud-tpu-monitoring-debugging.git

Installa Terraform

1. Installa Terraform sul tuo computer locale.
2. Esegui terraform init per aggiungere i plug-in necessari e creare il .terraform .
3. Esegui terraform init –upgrade per installare gli aggiornamenti disponibili.

Configura le autorizzazioni per il monitoraggio e il logging

Amministratore Monitoring, Editor configurazione dashboard Monitoring e Amministratore Logging sono necessari ruoli per eseguire il deployment delle risorse di monitoraggio nel tuo progetto Google Cloud. Per ulteriori informazioni sui ruoli di monitoraggio, consulta Concedere l'accesso a Cloud Monitoring.

Crea un bucket Cloud Storage

Creare un bucket Cloud Storage per archiviare i file di stato di Terraform. Puoi anche usano un bucket Cloud Storage esistente. L'utilizzo di un bucket Cloud Storage garantisce in modo che più utenti possano eseguire Terraform contemporaneamente e accedere allo stesso dell'infrastruttura.

1. In Cloud Shell, crea il bucket Cloud Storage:

   gcloud storage buckets create gs://${GCS_BUCKET_NAME}
   

2. Abilita il controllo delle versioni degli oggetti per conservare la cronologia dei deployment. Abilitazione in corso... Il controllo delle versioni degli oggetti aumenta i costi di archiviazione, che puoi mitigare configurazione di Gestione del ciclo di vita degli oggetti per eliminare le versioni precedenti degli stati.

   gcloud storage buckets update gs://${GCS_BUCKET_NAME} --versioning
   

Inizializza Terraform

Esegui terraform init nella directory gcp_resources/gce del repository. Il comando richiede di inserire il nome di un bucket Cloud Storage da archiviare dei file di stato di Terraform.

Esegui il deployment delle dashboard di monitoraggio e logging

Esegui terraform apply nella directory gcp_resources/gce per eseguire il deployment le dashboard di monitoraggio e logging nel tuo progetto Google Cloud. Il comando richiede di fornire i valori per le seguenti variabili:

• var.monitoring_dashboard_config
• var.project_name
• var.stack_trace_bucket_config

Nota: var.monitoring_dashboard_config e var.stack_trace_bucket_config è previsto testo in formato JSON. Digita {} per accettare i valori predefiniti. Consulta Sezione Configurazioni di esempio per ulteriori dettagli a riguardo. come la codifica one-hot delle variabili categoriche. Il comando terraform apply mostra le azioni che sta per eseguire . Digita yes per confermare. Il deployment di tutte le risorse viene eseguito automaticamente del tuo progetto Google Cloud.

Se vuoi eseguire il deployment solo della dashboard di monitoraggio, esegui terraform init e terraform apply all'interno di gcp_resources/gce/dashboard/monitoring_dashboard . Analogamente, esegui questi comandi all'interno gcp_resources/gce/dashboard/logging_dashboard directory per eseguire il deployment solo la dashboard di logging.

Configurazioni di esempio

Quando esegui terraform apply, Terraform richiede alcune configurazioni i valori delle variabili. Questa sezione fornisce alcune configurazioni di esempio che puoi utilizzare. Ogni esempio mostra l'output visualizzato dal comando terraform apply come valori suggeriti per ogni variabile di configurazione in grassetto. Ingresso deve essere in formato JSON racchiuso tra parentesi graffe ("{}").

Esempio 1

Questo esempio specifica il nome del progetto Google Cloud e utilizza i valori predefiniti per il resto della configurazione.

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
      "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": &lt;the number of outliers to show on dashboard, default to 10 if not set&gt;
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {}

Esempio 2

Questo esempio configura la dashboard in modo da visualizzare 5 VM TPU outlier.

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
    "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": &lt;number of outliers to show on dashboard, default to 10 if not set&gt;
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {"outlier_count":5}

Esempio 3

Questa configurazione crea una dashboard che mostra 10 VM TPU outlier che utilizzano "test" come prefisso per i nomi dei nodi generati dalla dashboard:

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
      "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": &ltnumber of outliers to show on dashboard, default to 10 if not set&gt;
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {"node_prefix":"test"}

Esempio 4

Questa configurazione crea una dashboard che mostra 5 VM outlier che utilizzano "test" come il prefisso per i nomi dei nodi generati dalla dashboard.

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
    "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {"node_prefix":"test", "outlier_count":5}

Esempio 5

In questo esempio viene configurato un bucket Cloud Storage per archiviare le analisi dello stack. La le analisi dello stack hanno un criterio di conservazione predefinito di 30 giorni.

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {"bucket_name":"stack_trace_log_bucket"}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
    "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {}

Esempio 6

Questo esempio configura un bucket Cloud Storage con un periodo di conservazione di 20 giorni.

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {"bucket_name":"stack_trace_log_bucket", "retention_days":20}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
    "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {}