Monitorize execuções

Este documento mostra como fazer o seguinte:

Antes de começar

Para monitorizar os registos de execução, certifique-se de que faz o seguinte:

  1. Na Google Cloud consola, aceda à página Dataform.

    Aceder ao Dataform

  2. Selecione ou crie um repositório.

  3. Selecione ou crie um espaço de trabalho de desenvolvimento.

  4. Acione uma execução, pelo menos, uma vez.

Funções necessárias

Para receber as autorizações de que precisa para ver os registos de execução, peça ao seu administrador que lhe conceda a função do IAM Editor do Dataform (roles/dataform.editor) no repositório workflowInvocations. Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

A função do IAM Visualizador de registos (roles/logging.viewer) concede-lhe acesso só de leitura a todas as funcionalidades do Cloud Logging. Para mais informações sobre as autorizações e as funções da gestão de identidade e de acesso que se aplicam aos dados de registo, consulte o artigo Controlo de acesso com a IAM.

Para criar e gerir alertas baseados em registos, certifique-se de que a sua função de IAM inclui as autorizações descritas em Funções necessárias para criar e usar políticas de alertas baseados em registos.

Monitorize registos de execução

Esta secção mostra como ver os registos de execução no Dataform.

Pode ver os registos de todas as execuções acionadas num repositório, e os registos de execuções acionadas num espaço de trabalho nas últimas 24 horas.

Inspecione os registos de execução do repositório

Para ver os registos de todas as execuções acionadas num repositório, siga estes passos:

  1. Na Google Cloud consola, aceda à página Dataform.

    Aceder ao Dataform

  2. Aceda ao seu repositório.

  3. Clique em Registos de execução do fluxo de trabalho.

  4. Para ver os detalhes de uma execução, clique na execução.

  5. Para ver os detalhes de uma ação na execução, clique em Ver detalhes.

Inspeção dos registos de execução do espaço de trabalho

Para ver os registos das 1000 execuções mais recentes que foram acionadas num espaço de trabalho nas últimas 24 horas, siga estes passos:

  1. Na Google Cloud consola, aceda à página Dataform.

    Aceder ao Dataform

  2. Aceda ao repositório e selecione o espaço de trabalho.

  3. No espaço de trabalho, clique em Execuções.

  4. Para ver os detalhes de uma execução, clique na execução.

  5. Para ver os detalhes de uma ação na execução, clique em Ver detalhes.

Veja os registos do Logging para o Dataform

Esta secção mostra como ver os registos do Cloud Logging para invocações do fluxo de trabalho do Dataform.

Cada invocação do fluxo de trabalho do Dataform é registada através do registo. O registo está ativado automaticamente para invocações do fluxo de trabalho do Dataform, o que pode incorrer em custos de faturação do registo. Para mais informações, consulte os preços do Dataform.

Ver registos

Para obter informações sobre a filtragem de registos do Logging no Explorador de registos, consulte o artigo Veja registos através do Explorador de registos.

Os registos do Dataform são indexados pelo repositório do Dataform.

Formato do registo

O Dataform envia mensagens de registo de invocação do fluxo de trabalho no seguinte formato:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

O que é registado

As entradas do registo do Dataform contêm informações úteis para monitorizar e depurar as invocações do fluxo de trabalho.

As entradas do registo contêm os seguintes tipos de informações:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: pode ser INFO, WARNING ou ERROR
  • terminalState: pode ser SUCCEEDED, CANCELED ou FAILED
  • timestamp
  • @type

Configure métricas e alertas com o Cloud Monitoring

Pode usar a monitorização para observar tendências nos seus registos e para receber uma notificação quando ocorrem as condições que descreve.

Para fornecer ao Monitoring dados dos seus registos, o Logging oferece-lhe o seguinte:

  • Métricas baseadas em registos, que pode usar da seguinte forma:
    • Para criar políticas de alerta que lhe enviam notificações sobre alterações ao longo do tempo.
    • Para criar gráficos que apresentam alterações ao longo do tempo.
  • Alertas baseados em registos, que lhe enviam uma notificação sempre que um evento específico aparece num registo.

Para mais informações sobre métricas baseadas em registos e alertas baseados em registos, consulte o artigo Monitorize os seus registos.

Para saber como configurar alertas baseados em registos para invocações do fluxo de trabalho do Dataform, consulte o artigo Configure alertas para invocações de fluxo de trabalho com falhas.

Configure alertas para invocações de fluxo de trabalho com falhas

Esta secção mostra como configurar alertas baseados em registos para invocações de fluxo de trabalho do Dataform com falhas através do Explorador de registos.

Pode usar a monitorização para observar tendências nos registos de registo para invocações do fluxo de trabalho do Dataform e para receber notificações quando ocorrem as condições que descreve.

Cada invocação do fluxo de trabalho do Dataform é registada através do registo. O registo está ativado automaticamente para invocações do fluxo de trabalho do Dataform, o que pode incorrer em custos de faturação do registo. Para mais informações, consulte os preços do Dataform.

Para receber alertas quando uma invocação do fluxo de trabalho do Dataform falha, pode criar alertas baseados em registos.

Pode criar alertas baseados em registos na página Explorador de registos na Google Cloud consola ou através da API Monitoring. Esta secção descreve como criar alertas baseados em registos para falhas de invocação do fluxo de trabalho do Dataform através do Explorador de registos.

Para configurar alertas baseados em registos para invocações de fluxo de trabalho do Dataform com falhas, siga estes passos:

  1. Na Google Cloud consola, selecione Registo e, de seguida, selecione Explorador de registos.

    Aceda ao Explorador de registos

  2. No painel Consulta, selecione Mostrar consulta e introduza a seguinte consulta:

        resource.type="dataform.googleapis.com/Repository"
    jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
    jsonPayload.terminalState="FAILED"

    Esta consulta envia-lhe alertas sobre todas as invocações de fluxo de trabalho do Dataform com falhas.

    1. Opcional: para filtrar invocações de fluxo de trabalho com falhas por uma configuração de lançamento, acrescente o seguinte à consulta:

          jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"

      Substitua RELEASE_CONFIGURATION_ID pelo ID da configuração de lançamento.

    2. Opcional: para filtrar invocações de fluxos de trabalho com falhas por uma configuração de fluxo de trabalho, acrescente o seguinte à consulta:

          jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"

      Substitua WORKFLOW_CONFIGURATION_ID pelo ID da configuração do fluxo de trabalho.

    A seguinte consulta envia-lhe um alerta quando uma invocação do fluxo de trabalho do Dataform relacionada com a dailyconfiguração de lançamento e a production configuração do fluxo de trabalho falha:

     resource.type="dataform.googleapis.com/Repository"
 jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
 jsonPayload.terminalState="FAILED"
 jsonPayload.releaseConfigId="daily"
 jsonPayload.workflowConfigId="production"

  3. Opcional: para validar a consulta, use Executar consulta no painel Resultados da consulta.

  4. No cabeçalho do painel Resultados da consulta, clique em Criar alerta. Quando a janela é estreita, a opção Criar alerta pode aparecer no menu Ações.

  5. No painel Detalhes do alerta, atribua um nome e uma descrição ao alerta:

    1. Introduza um nome para o alerta no campo Nome do alerta. Por exemplo: Dataform: workflow failure.

    2. Introduza uma descrição deste alerta. Também pode incluir informações que possam ajudar o destinatário de uma notificação a diagnosticar o problema. A string seguinte resume o motivo do alerta:

      Log-based alert in project ${project} detected a failed Dataform workflow.

      Para obter informações sobre como pode formatar e personalizar o conteúdo deste campo, consulte o artigo Anote as notificações com documentação definida pelo utilizador.

  6. Para avançar para o passo seguinte, clique em Seguinte.

  7. No painel Escolha os registos a incluir no alerta, verifique a consulta e os resultados clicando em Pré-visualizar registos.

    Recomendamos que crie a consulta no painel Consulta do Explorador de registos. A consulta que criou no painel Consulta também é apresentada neste painel.

    Se necessário, pode editar a consulta neste painel. Se editar a consulta, clique em Pré-visualizar registos para verificar os resultados.

  8. Clicar em Seguinte.

  9. Selecione o tempo mínimo entre notificações. Este valor permite-lhe controlar o número de notificações que recebe deste alerta se for acionado várias vezes. Para este exemplo, selecione 5 min nas opções.

  10. Opcional: selecione a duração do encerramento automático do incidente. Por predefinição, a duração do encerramento automático do incidente está definida como 7 dias.

  11. Clicar em Seguinte.

  12. Selecione um ou mais canais de notificação para o seu alerta. Para este exemplo, selecione um canal de notificação por email.

    Se já tiver um canal de notificação por email configurado, pode selecioná-lo na lista. Caso contrário, clique em Gerir canais de notificação e adicione um canal de email. Para obter informações sobre como criar canais de notificação, consulte o artigo Crie e faça a gestão de canais de notificação.

  13. Clique em Guardar.

O seu alerta baseado em registos está agora pronto para ser testado. Para ver instruções sobre como testar o alerta, consulte o artigo Teste a política de alertas baseada em registos de exemplo.

O que se segue?