Monitorar execuções

Esta página mostra como fazer o seguinte:

Antes de começar

Para monitorar os registros de execução, faça o seguinte:

  1. No Console do Google Cloud, acesse a página Dataform.

    Acessar o Dataform

  2. Selecione ou crie um repositório.

  3. Selecione ou crie um espaço de trabalho de desenvolvimento.

  4. Acionar a execução pelo menos uma vez.

Funções exigidas

Para receber as permissões necessárias para visualizar os registros de execução, peça ao administrador para conceder a você o papel do IAM Editor de formulário de dados (roles/dataform.editor) no repositório workflowInvocations. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

A função do IAM Visualizador de registros (roles/logging.viewer) concede acesso somente leitura a todos os recursos do Cloud Logging. Para mais informações sobre as permissões e os papéis do Identity and Access Management que se aplicam aos dados do Logging, consulte Controle de acesso com IAM.

Para criar e gerenciar alertas com base em registros, verifique se o papel do IAM inclui as permissões descritas em Papéis necessários para criar e usar políticas de alertas com base em registros.

Monitorar registros de execução

Esta seção mostra como conferir os registros de execução no Dataform.

É possível conferir os registros de todas as execuções acionadas em um repositório e os registros de execuções acionadas em um espaço de trabalho nas últimas 24 horas.

Inspecionar registros de execução do repositório

Para conferir os registros de todas as execuções acionadas em um repositório, siga estas etapas:

  1. No Console do Google Cloud, acesse a página Dataform.

    Acessar o Dataform

  2. Acesse seu repositório.

  3. Clique em Registros de execução de fluxo de trabalho.

  4. Para conferir os detalhes de uma execução, clique nela.

  5. Para conferir os detalhes de uma ação na execução, clique em Ver detalhes.

Inspecionar registros de execução do Workspace

Para conferir os registros das 1.000 execuções mais recentes acionadas em um espaço de trabalho nas últimas 24 horas, siga estas etapas:

  1. No Console do Google Cloud, acesse a página Dataform.

    Acessar o Dataform

  2. Acesse o repositório e selecione seu espaço de trabalho.

  3. No seu espaço de trabalho, clique em Execuções.

  4. Para conferir os detalhes de uma execução, clique nela.

  5. Para conferir os detalhes de uma ação na execução, clique em Ver detalhes.

Conferir os registros de Logging para o Dataform

Esta seção mostra como visualizar os registros do Cloud Logging para invocações de fluxo de trabalho do Dataform.

Cada invocação de fluxo de trabalho do Dataform é registrada usando o Logging. A geração de registros é ativada automaticamente para invocações de fluxo de trabalho do Dataform, o que pode gerar cobranças de registro. Para mais informações, consulte Preços do Dataform.

Ver registros

Para informações sobre como filtrar registros de geração de registros no Explorador de registros, consulte Conferir registros usando o Explorador de registros.

Os registros do Dataform são indexados pelo repositório do Dataform.

Formato do registro

O Dataform envia mensagens de registro de invocação do fluxo de trabalho no seguinte formato:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

O que é registrado

As entradas de registro do Dataform contêm informações úteis para monitorar e depurar as invocações do fluxo de trabalho.

As entradas de registro contêm os seguintes tipos de informações:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: pode ser INFO, WARNING ou ERROR
  • terminalState: pode ser SUCCEEDED, CANCELED ou FAILED
  • timestamp
  • @type

Configurar métricas e alertas com o Cloud Monitoring

Você pode usar o monitoramento para observar tendências nos registros e receber notificações quando as condições descritas ocorrerem.

Para fornecer dados ao Monitoring dos seus registros, o Logging oferece o seguinte:

  • Métricas com base em registros, que podem ser usadas da seguinte maneira:
    • Para criar políticas de alertas que avisem você sobre alterações ao longo do tempo.
    • Para criar gráficos que mostrem mudanças ao longo do tempo.
  • Alertas com base em registros, que notificam você sempre que um evento específico aparece em um registro.

Para mais informações sobre métricas e alertas com base em registros, consulte Monitorar seus registros.

Para saber como configurar alertas baseados em registros para invocações de fluxo de trabalho do Dataform, consulte Configurar alertas para invocações de fluxo de trabalho com falha.

Configurar alertas para invocações de fluxo de trabalho com falha

Esta seção mostra como configurar alertas com base em registros para invocações de fluxo de trabalho do Dataform com falha usando o Explorador de registros.

Você pode usar o monitoramento para observar tendências nos registros de registro de invocações de fluxo de trabalho do Dataform e receber notificações quando as condições descritas ocorrerem.

Cada invocação de fluxo de trabalho do Dataform é registrada usando o Logging. A geração de registros é ativada automaticamente para invocações de fluxo de trabalho do Dataform, o que pode gerar cobranças de faturamento do Logging. Para mais informações, consulte Preços do Dataform.

Para receber alertas quando uma invocação de fluxo de trabalho do Dataform falhar, crie alertas com base em registros.

É possível criar alertas com base em registros na página Explorador de registros no console do Google Cloud ou usando a API Monitoring. Esta seção descreve como criar alertas com base em registros para falhas de invocação de fluxo de trabalho do Dataform usando o Explorador de registros.

Para configurar alertas baseados em registros para invocações de fluxo de trabalho do Dataform com falha, siga estas etapas:

  1. No console do Google Cloud, selecione Logging e, em seguida, Análise de registros.

    Acessar o Explorador de registros

  2. No painel Consulta, selecione Mostrar consulta e insira a seguinte consulta:

        resource.type="dataform.googleapis.com/Repository"
    jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
    jsonPayload.terminalState="FAILED"

    Essa consulta alerta você sobre todas as invocações de fluxo de trabalho do Dataform com falha.

    1. Opcional: para filtrar invocações de fluxo de trabalho com falha por uma configuração de lançamento, adicione o seguinte à consulta:

          jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"

      Substitua RELEASE_CONFIGURATION_ID pelo ID da configuração de lançamento.

    2. Opcional: para filtrar invocações de fluxo de trabalho com falha por uma configuração de fluxo de trabalho, adicione o seguinte à consulta:

          jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"

      Substitua WORKFLOW_CONFIGURATION_ID pelo ID da configuração do fluxo de trabalho.

    A consulta a seguir alerta você quando uma invocação de fluxo de trabalho do Dataform relacionada à configuração de lançamento daily e à configuração de fluxo de trabalho production falha:

     resource.type="dataform.googleapis.com/Repository"
 jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
 jsonPayload.terminalState="FAILED"
 jsonPayload.releaseConfigId="daily"
 jsonPayload.workflowConfigId="production"

  3. Opcional: para validar a consulta, use Executar consulta no painel Resultados da consulta.

  4. No cabeçalho do painel Resultados da consulta, clique em Criar alerta. Quando a janela estiver estreita, a opção Criar alerta pode aparecer no menu Ações.

  5. No painel Detalhes do alerta, forneça um nome e uma descrição para o alerta:

    1. Digite um nome para o alerta no campo Nome do alerta. Por exemplo, Dataform: workflow failure.

    2. Digite uma descrição deste alerta. Você também pode incluir informações que possam ajudar o destinatário de uma notificação a diagnosticar o problema. A string a seguir resume o motivo do alerta:

      Log-based alert in project ${project} detected a failed Dataform workflow.

      Para informações sobre como formatar e adaptar o conteúdo deste campo, consulte Anexar anotações às notificações com documentação definida pelo usuário.

  6. Para avançar para a próxima etapa, clique em Próxima.

  7. No painel Escolher registros a serem incluídos no alerta, verifique a consulta e os resultados clicando em Visualizar registros.

    Recomendamos criar a consulta no painel Consulta do Explorador de registros. A consulta que você criou no painel Consulta também é exibida nesse painel.

    É possível editar a consulta neste painel, se necessário. Se você editar a consulta, verifique os resultados clicando em Visualizar registros.

  8. Clique em Próxima.

  9. Selecione o tempo mínimo entre as notificações. Esse valor permite controlar o número de notificações recebidas desse alerta, se ele for acionado várias vezes. Neste exemplo, selecione 5 minutos nas opções.

  10. Opcional: selecione a duração do fechamento automático do incidente. Por padrão, a duração do fechamento automático de incidentes é definida como 7 dias.

  11. Clique em Próxima.

  12. Selecione um ou mais canais de notificação para seu alerta. Neste exemplo, selecione um canal de notificação por e-mail.

    Se você já tiver um canal de notificação por e-mail configurado, selecione-o na lista. Caso contrário, clique em Gerenciar canais de notificação e adicione um canal de e-mail. Para saber mais sobre como criar canais de notificação, consulte Criar e gerenciar canais de notificação.

  13. Clique em Salvar.

Seu alerta com base em registros está pronto para ser testado. Para instruções sobre como testar o alerta, consulte Testar o exemplo de política de alertas com base em registro.

A seguir