Monitorar e visualizar registros do serviço de transferência de dados do BigQuery

O monitoramento e a geração de registros do serviço de transferência de dados do BigQuery fornecem informações sobre o desempenho e o status da carga de trabalho do serviço. O serviço de transferência de dados do BigQuery exporta dados de monitoramento para o Cloud Monitoring.

Monitorar o serviço de transferência de dados do BigQuery

É possível usar métricas de monitoramento para:

  • avaliar o uso e o desempenho de uma configuração de transferência de dados;
  • resolver problemas;
  • monitorar status de execução da transferência.

Para criar painéis personalizados, configurar alertas e consultar métricas com o Monitoring, use o console do Google Cloud ou a API Monitoring.

Ver dados de transferência no Metrics Explorer

  1. No Console do Google Cloud, acesse a página Monitoring.

    Acessar Monitoring

  2. No painel de navegação, clique em Metrics Explorer.

  3. Selecione o projeto.

  4. Na caixa Encontrar tipo de recurso e métrica, insira o seguinte:

  5. Opcional: selecione alinhador, redutor e outros parâmetros.

  6. As métricas são exibidas na janela Metrics Explorer.

    Exemplo de métrica.

Definir alertas do Cloud Monitoring

Defina Alertas de monitoramento para as métricas do serviço de transferência de dados do BigQuery:

  1. No Console do Google Cloud, acesse a página Monitoring.

    Acessar Monitoring

  2. No painel de navegação, selecione Alertas > Criar política.

    Para mais informações sobre políticas e conceitos relacionados a alertas, consulte Tipos de políticas de alertas.

  3. Clique em Adicionar condição e selecione o tipo de condição.

  4. Selecione as métricas e os filtros. Para métricas, o tipo de recurso é Configuração do BigQuery DTS.

  5. Clique em Save Condition.

  6. Digite o nome da política e clique em Salvar política.

Para mais informações sobre políticas e conceitos relacionados a alertas, consulte Introdução a alertas.

Definir painéis personalizados do Cloud Monitoring

É possível criar painéis personalizados com métricas do serviço de transferência de dados do BigQuery:

  1. No Console do Google Cloud, acesse a página Monitoring.

    Acessar Monitoring

  2. No painel de navegação, selecione Painéis > Criar painel.

  3. Clique em Add Chart.

  4. Dê um título ao gráfico.

  5. Selecione as métricas e os filtros. Para métricas, o tipo de recurso é Configuração do BigQuery DTS.

  6. Clique em Salvar.

Para mais informações, consulte Gerenciar painéis personalizados.

Frequência e retenção de geração de relatórios de métricas

As métricas das execuções do serviço de transferência de dados do BigQuery são exportadas para o Monitoring em lotes, em intervalos de um minuto. Os dados de monitoramento são retidos por seis semanas.

O painel fornece análise de dados em intervalos padrão de 1h (uma hora), 6H (seis horas), 1D (um dia), 1W (uma semana) e 6W (seis semanas). É possível solicitar manualmente a análise em qualquer intervalo entre 1M (um minuto) e 6W (seis semanas).

Monitorar métricas de configurações de transferência

As métricas a seguir das configurações do serviço de transferência de dados do BigQuery são exportadas para o Monitoring:

Métrica Descrição
Distribuição de latência de execução Distribuição do tempo de execução (em segundos) de cada execução da transferência, por configuração de transferência.
Contagem de execução ativa Número de execuções de transferência em execução ou pendentes, por configuração de transferência.
Contagem de execuções concluídas Número de execuções de transferência concluídas em um período de tempo, por configuração de transferência.

Filtrar dimensões para métricas

As métricas são agregadas para cada configuração do serviço de transferência de dados do BigQuery. É possível filtrar métricas agregadas pelas seguintes dimensões:

Propriedade Descrição
TRANSFER_STATE Representa o estado de transferência atual da execução da transferência. Essa dimensão pode ter um dos seguintes valores:
  • unspecified
  • pending
  • running
  • succeeded
  • failed
  • cancelled
ERROR_CODE Representa o código de erro final da execução da transferência. Essa dimensão pode ter um dos seguintes valores:
  • OK
  • CANCELLED
  • UNKNOWN
  • INVALID_ARGUMENT
  • DEADLINE_EXCEEDED
  • NOT_FOUND
  • ALREADY_EXISTS
  • PERMISSION_DENIED
  • UNAUTHENTICATED
  • RESOURCE_EXHAUSTED
  • FAILED_PRECONDITION
  • ABORTED
  • OUT_OF_RANGE
  • UNIMPLEMENTED
  • INTERNAL
  • UNAVAILABLE
  • DATA_LOSS
RUN_CAUSE Representa como uma execução da transferência foi acionada. Essa dimensão pode ter um dos seguintes valores:
  • USER_REQUESTED
  • AUTO_SCHEDULE

Registros do serviço de transferência de dados do BigQuery

Cada execução do serviço de transferência de dados do BigQuery é registrada usando o Cloud Logging. A geração de registros é ativada automaticamente para todas as transferências de dados.

Funções exigidas

O papel Visualizador de registros (roles/logging.viewer) oferece acesso somente leitura a todos os recursos do Logging. Para mais informações sobre as permissões e os papéis do Identity and Access Management (IAM) que se aplicam aos dados do Logging, consulte o Guia de controle de acesso do Logging.

Ver registros

Para visualizar os registros, acesse a página do Navegador de Registros.

Acessar o Explorador de registros

Os registros do serviço de transferência de dados do BigQuery são indexados primeiro pela configuração de transferência e, em seguida, pela execução de transferência individual.

Visualizar registros de execução de transferência

Para mostrar apenas as entradas de registro de um determinado run_id de transferência, no Criador de consultas, adicione o seguinte filtro:

resource.type="bigquery_dts_config"
labels.run_id="transfer_run_id"

Visualizar os registros de execução.

Visualizar registros de configuração de transferência

Para mostrar as entradas de registro de um determinado config_idde transferência, no Criador de consultas, adicione os seguintes filtros:

resource.type="bigquery_dts_config"
labels.run_id="transfer_config_id"

Visualizar os registros de configuração.

Visualizar todos os registros

Para ver todos os registros do serviço de transferência de dados do BigQuery, siga um destes procedimentos:

  • Na seção Campos de registro, em Tipo de recurso, selecione Configuração do BigQuery DTS.

    Visualizar todos os registros

  • No Criador de consultas, adicione o seguinte filtro:

    resource.type="bigquery_dts_config"

Para mais informações, consulte Como usar o Explorador de registros.

Formato do registro

O serviço de transferência de dados do BigQuery registra mensagens no seguinte formato:

{
  "insertId": "0000000000",
  "jsonPayload": {
    "message": "DTS transfer run message."
  },
  "resource": {
    "type": "bigquery_dts_config",
    "labels": {
      "project_id": "my_project_id",
      "config_id": "transfer_config_id",
      "location": "us"
    }
  },
  "timestamp": "2020-11-25T04:45:48.545732221Z",
  "severity": "INFO",
  "labels": {
    "run_id": "transfer_run_id"
  },
  "logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
  "receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}

O que é registrado

As entradas de registro do serviço de transferência de dados do BigQuery contêm informações úteis para monitorar e depurar suas execuções de transferência. As entradas de registro contêm os seguintes tipos de informação:

  • timestamp: usado para calcular a idade da entrada de registro e para aplicar o período de armazenamento do registro
  • severity: pode ser INFO, WARNING ou ERROR
  • message_text: contém uma string que explica o status atual da execução da transferência.

A seguir