Monitorar e visualizar registros do serviço de transferência de dados do BigQuery
O monitoramento e a geração de registros do serviço de transferência de dados do BigQuery fornecem informações sobre o desempenho e o status da carga de trabalho do serviço. O serviço de transferência de dados do BigQuery exporta dados de monitoramento para o Cloud Monitoring.
Monitorar o serviço de transferência de dados do BigQuery
É possível usar métricas de monitoramento para:
- avaliar o uso e o desempenho de uma configuração de transferência de dados;
- resolver problemas;
- monitorar status de execução da transferência.
Para criar painéis personalizados, configurar alertas e consultar métricas com o Monitoring, use o console do Google Cloud ou a API Monitoring.
Ver dados de transferência no Metrics Explorer
No Console do Google Cloud, acesse a página Monitoring.
No painel de navegação, clique em Metrics Explorer.
Selecione o projeto.
Na caixa Encontrar tipo de recurso e métrica, insira o seguinte:
- Em Tipo de recurso, insira
BigQuery DTS Config. Em Métrica, selecione uma das métricas listadas em Métricas de monitoramento para configurações de transferência. Por exemplo,
Completed run count.
- Em Tipo de recurso, insira
Opcional: selecione alinhador, redutor e outros parâmetros.
As métricas são exibidas na janela Metrics Explorer.
Definir alertas do Cloud Monitoring
Defina Alertas de monitoramento para as métricas do serviço de transferência de dados do BigQuery:
No Console do Google Cloud, acesse a página Monitoring.
No painel de navegação, selecione Alertas > Criar política.
Para mais informações sobre políticas e conceitos relacionados a alertas, consulte Tipos de políticas de alertas.
Clique em Adicionar condição e selecione o tipo de condição.
Selecione as métricas e os filtros. Para métricas, o tipo de recurso é Configuração do BigQuery DTS.
Clique em Save Condition.
Digite o nome da política e clique em Salvar política.
Para mais informações sobre políticas e conceitos relacionados a alertas, consulte Introdução a alertas.
Definir painéis personalizados do Cloud Monitoring
É possível criar painéis personalizados com métricas do serviço de transferência de dados do BigQuery:
No Console do Google Cloud, acesse a página Monitoring.
No painel de navegação, selecione Painéis > Criar painel.
Clique em Add Chart.
Dê um título ao gráfico.
Selecione as métricas e os filtros. Para métricas, o tipo de recurso é Configuração do BigQuery DTS.
Clique em Save.
Para mais informações, consulte Gerenciar painéis personalizados.
Frequência e retenção de geração de relatórios de métricas
As métricas das execuções do serviço de transferência de dados do BigQuery são exportadas para o Monitoring em lotes, em intervalos de um minuto. Os dados de monitoramento são retidos por seis semanas.
O painel fornece análise de dados em intervalos padrão de 1h (uma hora), 6H
(seis horas), 1D (um dia), 1W (uma semana) e 6W (seis semanas). É possível solicitar
manualmente a análise em qualquer intervalo entre 1M (um minuto) e 6W (seis semanas).
Monitorar métricas de configurações de transferência
As métricas a seguir das configurações do serviço de transferência de dados do BigQuery são exportadas para o Monitoring:
| Métrica | Descrição |
|---|---|
| Distribuição de latência de execução | Distribuição do tempo de execução (em segundos) de cada execução da transferência, por configuração de transferência. |
| Contagem de execução ativa | Número de execuções de transferência em execução ou pendentes, por configuração de transferência. |
| Contagem de execuções concluídas | Número de execuções de transferência concluídas em um período de tempo, por configuração de transferência. |
Filtrar dimensões para métricas
As métricas são agregadas para cada configuração do serviço de transferência de dados do BigQuery. É possível filtrar métricas agregadas pelas seguintes dimensões:
| Propriedade | Descrição |
|---|---|
TRANSFER_STATE |
Representa o estado de transferência atual da execução da transferência. Essa dimensão pode ter um dos seguintes valores:
|
ERROR_CODE |
Representa o código de erro final da execução da transferência. Essa dimensão pode ter um dos seguintes valores:
|
RUN_CAUSE |
Representa como uma execução da transferência foi acionada. Essa dimensão pode ter um dos seguintes valores:
|
Registros do serviço de transferência de dados do BigQuery
Cada execução do serviço de transferência de dados do BigQuery é registrada usando o Cloud Logging. A geração de registros é ativada automaticamente para todas as transferências de dados.
Funções exigidas
O papel Visualizador de registros (roles/logging.viewer) oferece acesso somente leitura a todos
os recursos do Logging. Para mais informações sobre as permissões e os papéis do Identity and Access Management (IAM) que se aplicam aos dados do Logging, consulte o Guia de controle de acesso do Logging.
Ler registros
Para visualizar os registros, acesse a página do Navegador de Registros.
Acessar o Explorador de registros
Os registros do serviço de transferência de dados do BigQuery são indexados primeiro pela configuração de transferência e, em seguida, pela execução de transferência individual.
Visualizar registros de execução de transferência
Para mostrar apenas as entradas de registro de um determinado run_id de transferência, no Criador de consultas, adicione o seguinte filtro:
resource.type="bigquery_dts_config" labels.run_id="transfer_run_id"
Visualizar registros de configuração de transferência
Para mostrar as entradas de registro de um determinado config_idde transferência, no Criador de consultas, adicione os seguintes filtros:
resource.type="bigquery_dts_config" labels.run_id="transfer_config_id"
Visualizar todos os registros
Para ver todos os registros do serviço de transferência de dados do BigQuery, siga um destes procedimentos:
Na seção Campos de registro, em Tipo de recurso, selecione Configuração do BigQuery DTS.
No Criador de consultas, adicione o seguinte filtro:
resource.type="bigquery_dts_config"
Para mais informações, consulte Como usar o Explorador de registros.
Formato do registro
O serviço de transferência de dados do BigQuery registra mensagens no seguinte formato:
{
"insertId": "0000000000",
"jsonPayload": {
"message": "DTS transfer run message."
},
"resource": {
"type": "bigquery_dts_config",
"labels": {
"project_id": "my_project_id",
"config_id": "transfer_config_id",
"location": "us"
}
},
"timestamp": "2020-11-25T04:45:48.545732221Z",
"severity": "INFO",
"labels": {
"run_id": "transfer_run_id"
},
"logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
"receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}
O que é registrado
As entradas de registro do serviço de transferência de dados do BigQuery contêm informações úteis para monitorar e depurar suas execuções de transferência. As entradas de registro contêm os seguintes tipos de informação:
timestamp: usado para calcular a idade da entrada de registro e para aplicar o período de armazenamento do registroseverity: pode serINFO,WARNINGouERRORmessage_text: contém uma string que explica o status atual da execução da transferência.
A seguir
- Saiba mais sobre o Monitoring.
- Leia a visão geral do Cloud Audit Logging e do Cloud Logging.