Ver o Cloud Logging para Dataform

Neste documento, mostramos como visualizar os registros do Cloud Logging para invocações de fluxo de trabalho do Dataform.

Cada invocação do fluxo de trabalho do Dataform é registrada usando o Cloud Logging. O Logging é ativado automaticamente para invocações de fluxo de trabalho do Dataform, o que pode gerar cobranças de faturamento do Cloud Logging. Para mais informações, consulte Preços do Dataform.

Permissões e papéis

O papel Visualizador de registros (roles/logging.viewer) oferece acesso somente leitura a todos os recursos do Logging. Para mais informações sobre as permissões e os papéis do IAM que se aplicam aos dados do Cloud Logging, consulte o guia de controle de acesso do Cloud Logging.

Ler registros

Para visualizar os registros, acesse o Explorador de registros.

Acesse o Explorador de registros

Para informações sobre como filtrar os registros do Cloud Logging no Explorador de registros, consulte Ver registros usando o Explorador de registros.

Os registros do Dataform são indexados pelo repositório do Dataform.

Formato do registro

O Dataform envia mensagens de registro da invocação do fluxo de trabalho no seguinte formato:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

O que é registrado

As entradas de registro do Dataform contêm informações úteis para monitorar e depurar as invocações de fluxo de trabalho.

As entradas de registro contêm os seguintes tipos de informação:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: pode ser INFO, WARNING ou ERROR
  • terminalState: pode ser SUCCEEDED, CANCELED ou FAILED
  • timestamp
  • @type

Configurar métricas e alertas com o Cloud Monitoring

É possível usar o Cloud Monitoring para observar tendências nos registros e notificá-lo quando ocorrerem condições descritas.

Para fornecer ao Cloud Monitoring dados dos seus registros, o Cloud Logging oferece o seguinte:

  • Métricas com base em registros, que podem ser usadas da seguinte maneira:
    • Para criar políticas de alertas que avisem você sobre alterações ao longo do tempo.
    • Para criar gráficos que mostrem mudanças ao longo do tempo.
  • Alertas com base em registros, que notificam você sempre que um evento específico aparece em um registro.

Para mais informações sobre métricas e alertas com base em registros, consulte Monitorar registros.

Para saber como configurar alertas baseados em registro para invocações de fluxo de trabalho do Dataform, consulte Configurar alertas para invocações de fluxo de trabalho com falha.

A seguir