Painéis de monitoramento e geração de registros do Cloud TPU

Os painéis de monitoramento e depuração do Cloud TPU repositório contém toda a infraestrutura e lógica necessárias para monitorar e fluxos de trabalho de depuração em execução nas VMs da TPU. Ele exige o Terraform, uma ferramenta de código aberto que usa arquivos de configuração para definir e gerenciar o Google Cloud do Google Cloud.

Painel de monitoramento

O painel de monitoramento exibe as seguintes métricas do Cloud TPU:

  • Utilização da CPU no worker da TPU: cpu/utilization
  • Uso da memória pela VM da TPU: memory/usage
  • Bytes de rede recebidos por um pod pela rede: network/received_bytes_count
  • Bytes de rede enviados por um pod pela rede: network/sent_bytes_count
  • Duração da inatividade do chip da TPU no TensorCore: tpu/tensorcore/idle_duration

O Cloud Monitoring gera dados de métricas automaticamente. Para acessar o relatório de do Google, acesse o console do Google Cloud, selecione Monitoramento e, em seguida, Painéis. Selecione GCE - painel de monitoramento de TPU no lista de painéis. O painel de monitoramento do Cloud TPU é composto por um número de painéis, cada um exibindo dados de métricas. Para cada métrica do Cloud TPU, o painel exibe os valores atuais das métricas, a média e os valores máximos. em painéis separados. Os painéis de média e máximo permitem identificar outliers VMs de TPU para uma investigação mais aprofundada.

Também é possível visualizar as métricas da TPU usando o Metrics Explorer no Cloud Monitoring. console do Google Cloud. Para mais informações, consulte Como monitorar VMs do Cloud TPU.

Painel do Logging

O painel do Logging exibe duas seções:

  1. Métricas de registro: exibe a contagem de entradas de stack trace coletadas para cada Worker da VM da TPU.
  2. Painel de registros: exibe todas as entradas de stack trace com colunas de gravidade. carimbo de data/hora e um resumo da entrada. É possível filtrar esse painel por uma ou rótulos de worker da TPU, como node_id e worker_id. Por exemplo: adicionar um filtro resource.labels.node_id:"testing" exibe todos os traces entradas coletadas para o worker da VM da TPU com o ID definido como "teste".

O Cloud Logging coleta entradas de registro geradas pelos serviços do Google Cloud serviços de terceiros, frameworks de ML e seu código. É possível instalar cloud-tpu-diagnostics PyPi para gravar stack traces do Python quando ocorre uma falha ou exceção ou quando a carga de trabalho não responde. Para mais informações, consulte Depuração de VMs do Cloud TPU.

Para conferir o painel do Logging, acesse o console do Google Cloud e selecione Monitoramento, e em Painéis. Selecione GCE - painel de geração de registros de TPU em a lista de painéis.

Configurar os painéis de métricas e geração de registros

Siga estas instruções para configurar os painéis de métricas e de geração de registros.

clone o repositório do painel

É possível clonar o repositório diretamente do repositório do GitHub para monitoramento e depuração do Cloud TPU. ou pela linha de comando:

git clone https://github.com/google/cloud-tpu-monitoring-debugging.git

Instale o Terraform

  1. Instale o Terraform na sua máquina local.
  2. Execute terraform init para adicionar os plug-ins necessários e criar o .terraform. diretório.
  3. Execute terraform init –upgrade para instalar as atualizações disponíveis.

Configurar permissões para monitoramento e geração de registros

Administrador do Monitoring, Editor de configuração do painel do Monitoring e Administrador do Logging são necessários para implantar recursos de monitoramento no projeto do Google Cloud. Para mais informações sobre os papéis de monitoramento, consulte Conceder acesso ao Cloud Monitoring.

Criar um bucket do Cloud Storage

Criar um bucket do Cloud Storage para armazenar arquivos de estado do Terraform. Você também pode usar um bucket atual do Cloud Storage. Usar um bucket do Cloud Storage garante vários usuários podem executar o Terraform ao mesmo tempo e acessar os mesmos do Google Cloud.

  1. Em um Cloud Shell, crie o bucket do Cloud Storage:

    gcloud storage buckets create gs://${GCS_BUCKET_NAME}

  2. Ative o controle de versões de objetos para manter o histórico das implantações. Ativando O controle de versões de objetos aumenta os custos de armazenamento, que pode ser reduzido configurar o Gerenciamento do ciclo de vida de objetos para excluir versões de estado antigas.

    gcloud storage buckets update gs://${GCS_BUCKET_NAME} --versioning

Inicialize o Terraform

Execute terraform init dentro do diretório gcp_resources/gce do repositório. O comando solicita que você insira o nome de um bucket do Cloud Storage para armazenar arquivos de estado do Terraform.

Implantar os painéis de monitoramento e geração de registros

Execute terraform apply dentro do diretório gcp_resources/gce para implantar o painéis de monitoramento e geração de registros no seu projeto do Google Cloud. O comando solicita que você forneça valores para as seguintes variáveis:

  • var.monitoring_dashboard_config
  • var.project_name
  • var.stack_trace_bucket_config
.

Para implantar apenas o painel de monitoramento, execute terraform init e terraform apply dentro de gcp_resources/gce/dashboard/monitoring_dashboard diretório. Da mesma forma, execute esses comandos dentro da gcp_resources/gce/dashboard/logging_dashboard para implantar apenas o painel de geração de registros.

Exemplos de configurações

Quando você executa terraform apply, o Terraform solicita uma configuração valores variáveis. Nesta seção, apresentamos alguns exemplos de configurações que você pode usar. Cada exemplo mostra também a saída exibida pelo comando terraform apply como valores sugeridos para cada variável de configuração em negrito. Contribuição deve estar no formato JSON entre chaves ("{}").

Exemplo 1

Este exemplo especifica o nome do projeto do Google Cloud e usa os valores padrão para o restante da configuração. 

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
      "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": &lt;the number of outliers to show on dashboard, default to 10 if not set&gt;
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {}

Exemplo 2

Neste exemplo, configuramos o painel para exibir cinco VMs de TPU outlier. 

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
    "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": &lt;number of outliers to show on dashboard, default to 10 if not set&gt;
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {"outlier_count":5}

Exemplo 3

Essa configuração cria um painel que mostra 10 VMs de TPU outlier usando "teste" como o prefixo dos nomes dos nós gerados pelo painel:

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
      "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": &ltnumber of outliers to show on dashboard, default to 10 if not set&gt;
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {"node_prefix":"test"}

Exemplo 4

Essa configuração cria um painel que mostra cinco VMs outlier usando "test" quando o prefixo dos nomes dos nós gerados pelo dashboard.

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
    "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {"node_prefix":"test", "outlier_count":5}

Example 5

Este exemplo configura um bucket do Cloud Storage para armazenar stack traces. A os stack traces têm uma política padrão de retenção de 30 dias. 

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {"bucket_name":"stack_trace_log_bucket"}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
    "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {}

Exemplo 6

Este exemplo configura um bucket do Cloud Storage com um período de armazenamento de 20 dias.

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {"bucket_name":"stack_trace_log_bucket", "retention_days":20}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
    "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {}