Monitorize e veja registos do Serviço de transferência de dados do BigQuery

A monitorização e o registo do Serviço de transferência de dados do BigQuery fornecem informações sobre o desempenho e o estado da carga de trabalho do serviço. O Serviço de transferência de dados do BigQuery exporta dados de monitorização para o Cloud Monitoring.

Monitorize o Serviço de transferência de dados do BigQuery

Pode usar métricas de monitorização para os seguintes fins:

• Avalie a utilização e o desempenho de uma configuração de transferência de dados.
• Resolva problemas.
• Monitorize os estados de execução da transferência.

Para criar painéis de controlo personalizados, configurar alertas e consultar métricas com o Monitoring, pode usar a Google Cloud consola ou a API Monitoring.

Veja dados de transferência no explorador de métricas

1. Na Google Cloud consola, aceda à página Monitorização.

   Aceder a Monitorização

2. No painel de navegação, clique em Explorador de métricas.

3. Selecione o seu projeto.

4. Na caixa Encontre o tipo de recurso e a métrica, introduza o seguinte:

   • Para Tipo de recurso, introduza BigQuery DTS Config.

   • Para Métrica, selecione uma das métricas indicadas em Métricas de monitorização para configurações de transferência, por exemplo, Completed run count.

     

5. Opcional: selecione o alinhador, o redutor e outros parâmetros.

6. As métricas são apresentadas na janela do Explorador de métricas.

   

Defina alertas do Cloud Monitoring

Pode definir alertas de monitorização para as métricas do Serviço de transferência de dados do BigQuery:

1. Na Google Cloud consola, aceda à página Monitorização.

   Aceder a Monitorização

2. No painel de navegação, selecione Alertas > Criar política.

   Para mais informações sobre as políticas de alerta e os conceitos subjacentes, consulte o artigo Tipos de políticas de alerta.

3. Clique em Adicionar condição e selecione um tipo de condição.

4. Selecione métricas e filtros. Para as métricas, o tipo de recurso é BigQuery DTS Config.

5. Clique em Guardar condição.

6. Introduza o nome da política e, de seguida, clique em Guardar política.

Para mais informações sobre as políticas de alerta e os conceitos, consulte o artigo Introdução aos alertas.

Defina painéis de controlo personalizados do Cloud Monitoring

Pode criar painéis de controlo personalizados com base nas métricas do Serviço de transferência de dados do BigQuery:

1. Na Google Cloud consola, aceda à página Monitorização.

   Aceder a Monitorização

2. No painel de navegação, selecione Painéis de controlo > Criar painel de controlo.

3. Clique em Adicionar gráfico.

4. Atribua um título ao gráfico.

5. Selecione métricas e filtros. Para as métricas, o tipo de recurso é BigQuery DTS Config.

6. Clique em Guardar.

Para mais informações, consulte o artigo Faça a gestão de painéis de controlo personalizados.

Frequência e retenção dos relatórios de métricas

As métricas das execuções do Serviço de transferência de dados do BigQuery são exportadas para o Monitoring em lotes, a intervalos de 1 minuto. Os dados de monitorização são retidos durante 6 semanas.

O painel de controlo fornece a análise de dados em intervalos predefinidos de 1h (1 hora), 6H (6 horas), 1D (1 dia), 1W (1 semana) e 6W (6 semanas). Pode pedir manualmente a análise em qualquer intervalo entre 1M (1 minuto) e 6W (6 semanas).

Monitorize as métricas das configurações de transferência

As seguintes métricas para configurações do Serviço de transferência de dados do BigQuery são exportadas para o Monitoring:

Métrica	Descrição
Execute a distribuição da latência	Distribuição do tempo de execução (em segundos) de cada execução de transferência, por configuração de transferência.
Contagem de execuções ativas	Número de execuções de transferência em execução ou pendentes, por configuração de transferência.
Número de corridas concluídas	Número de execuções de transferência concluídas num período, por configuração de transferência.

Dimensões de filtro para métricas

As métricas são agregadas para cada configuração do Serviço de transferência de dados do BigQuery. Pode filtrar métricas agregadas pelas seguintes dimensões:

Propriedade	Descrição
TRANSFER_STATE	Representa o estado de transferência atual da execução da transferência. Esta dimensão pode ter um dos seguintes valores: unspecified pending running succeeded failed cancelled
ERROR_CODE	Representa o código de erro final da execução da transferência. Esta dimensão pode ter um dos seguintes valores: OK CANCELLED UNKNOWN INVALID_ARGUMENT DEADLINE_EXCEEDED NOT_FOUND ALREADY_EXISTS PERMISSION_DENIED UNAUTHENTICATED RESOURCE_EXHAUSTED FAILED_PRECONDITION ABORTED OUT_OF_RANGE UNIMPLEMENTED INTERNAL UNAVAILABLE DATA_LOSS
RUN_CAUSE	Representa a forma como uma execução de transferência foi acionada. Esta dimensão pode ter um dos seguintes valores: USER_REQUESTED AUTO_SCHEDULE

Registos do Serviço de transferência de dados do BigQuery

Cada execução do Serviço de transferência de dados do BigQuery é registada através do Cloud Logging. O registo está ativado automaticamente para todas as transferências de dados.

Funções necessárias

A função Visualizador de registos (roles/logging.viewer) dá-lhe acesso só de leitura a todas as funcionalidades do Logging. Para mais informações acerca das autorizações e das funções de gestão de identidade e de acesso (IAM) que se aplicam aos dados de registo, consulte o guia de controlo de acesso ao registo.

Ver registos

Para ver os registos, aceda à página Explorador de registos.

Aceda ao Explorador de registos

Os registos do Serviço de transferência de dados do BigQuery são indexados primeiro pela configuração de transferência e, em seguida, pela execução de transferência individual.

Veja os registos de execuções de transferências

Para mostrar apenas as entradas de registo de uma determinada transferência run_id, no criador de consultas, adicione os seguintes filtros:

resource.type="bigquery_dts_config"
labels.run_id="transfer_run_id"

Veja os registos de configuração da transferência

Para mostrar as entradas do registo de uma determinada transferência config_id, no criador de consultas, adicione os seguintes filtros:

resource.type="bigquery_dts_config"
resource.labels.config_id="transfer_config_id"

Ver todos os registos

Para ver todos os registos do Serviço de transferência de dados do BigQuery, faça uma das seguintes ações:

• No painel Campos, para Tipo de recurso, selecione BigQuery DTS Config.

  

• No criador de consultas, adicione o seguinte filtro:

  resource.type="bigquery_dts_config"

Para mais informações sobre como usar o explorador de registos, consulte o artigo Usar o explorador de registos.

Formato do registo

O Serviço de transferência de dados do BigQuery regista mensagens no seguinte formato:

{
  "insertId": "0000000000",
  "jsonPayload": {
    "message": "DTS transfer run message."
  },
  "resource": {
    "type": "bigquery_dts_config",
    "labels": {
      "project_id": "my_project_id",
      "config_id": "transfer_config_id",
      "location": "us"
    }
  },
  "timestamp": "2020-11-25T04:45:48.545732221Z",
  "severity": "INFO",
  "labels": {
    "run_id": "transfer_run_id"
  },
  "logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
  "receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}

O que é registado

As entradas de registo do Serviço de transferência de dados do BigQuery contêm informações úteis para monitorizar e depurar as execuções de transferências. As entradas do registo contêm os seguintes tipos de informações:

• timestamp: usado para calcular a antiguidade da entrada do registo e aplicar o período de retenção do registo
• severity: pode ser INFO, WARNING ou ERROR
• message_text: contém uma string que explica o estado atual da execução de transferência

O que se segue?

• Saiba mais acerca da monitorização.
• Leia uma vista geral dos registos de auditoria da nuvem e do Cloud Logging.