Acessar o Cloud Logging para Dataform

Neste documento, mostramos como visualizar os registros do Cloud Logging para invocações de fluxo de trabalho do Dataform.

Cada invocação do fluxo de trabalho do Dataform é registrada usando o Cloud Logging. O Logging é ativado automaticamente para invocações de fluxo de trabalho do Dataform, que podem gerar cobranças de faturamento do Cloud Logging. Para mais informações, consulte os preços do Dataform.

Permissões e papéis

O papel Visualizador de registros (roles/logging.viewer) oferece acesso somente leitura a todos os recursos do Logging. Para mais informações sobre as permissões e os papéis do IAM que se aplicam aos dados do Cloud Logging, consulte o guia de controle de acesso do Cloud Logging.

Mostrar registros

Para visualizar os registros, acesse o Explorador de registros.

Acesse o Explorador de registros

Para informações sobre como filtrar os registros do Cloud Logging na Análise de registros, consulte Visualizar registros usando a Análise de registros.

Os registros do Dataform são indexados pelo repositório do Dataform.

Formato do registro

O Dataform envia mensagens de registro de invocação de fluxo de trabalho no seguinte formato:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

O que é registrado

As entradas de registro do Dataform contêm informações úteis para monitorar e depurar as invocações do fluxo de trabalho.

As entradas de registro contêm os seguintes tipos de informações:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: pode ser INFO, WARNING ou ERROR
  • terminalState: pode ser SUCCEEDED, CANCELED ou FAILED
  • timestamp
  • @type

Configurar métricas e alertas com o Cloud Monitoring

É possível usar o Cloud Monitoring para observar tendências nos registros e notificar quando ocorrem as condições descritas.

Para fornecer ao Cloud Monitoring os dados dos seus registros, o Cloud Logging oferece o seguinte:

  • Métricas com base em registros, que podem ser usadas da seguinte maneira:
    • Para criar políticas de alertas que avisem você sobre alterações ao longo do tempo.
    • Para criar gráficos que mostrem mudanças ao longo do tempo.
  • Alertas com base em registros, que notificam você sempre que um evento específico aparece em um registro.

Para mais informações sobre métricas com base em registros e alertas com base em registros, consulte Monitorar seus registros.

Para saber como configurar alertas baseados em registros para invocações de fluxo de trabalho do Dataform, consulte Configurar alertas para invocações de fluxo de trabalho com falha.

A seguir