Consulta Cloud Logging para Dataform

En este documento, se muestra cómo ver los registros de Cloud Logging para las invocaciones del flujo de trabajo de Dataform.

Cada invocación de flujo de trabajo de Dataform se registra mediante Cloud Logging. Logging se habilita de forma automática para las invocaciones de flujo de trabajo de Dataform, que pueden generar cargos de facturación de Cloud Logging. Para obtener más información, consulta los precios de Dataform.

Permisos y roles

El rol de visualizador de registros (roles/logging.viewer) te otorga acceso de solo lectura a todas las funciones de Logging. Para obtener más información sobre los permisos y las funciones de IAM que se aplican a los datos de Cloud Logging, consulta la guía de control de acceso de Cloud Logging.

Visualiza los registros

Para ver los registros, ve al Explorador de registros.

Ir al Explorador de registros.

Para obtener información sobre cómo filtrar los registros de Cloud Logging en el Explorador de registros, consulta Visualiza los registros con el Explorador de registros.

El repositorio de Dataform indexa los registros de Dataform.

Formato de registro

Dataform envía mensajes de registro de invocación de flujos de trabajo en el siguiente formato:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

¿Qué se registra?

Las entradas de registro de Dataform contienen información que es útil para supervisar y depurar tus invocaciones de flujo de trabajo.

Las entradas de registro contienen los siguientes tipos de información:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: Puede ser INFO, WARNING o ERROR.
  • terminalState: Puede ser SUCCEEDED, CANCELED o FAILED
  • timestamp
  • @type

Configura métricas y alertas con Cloud Monitoring

Puedes usar Cloud Monitoring para observar tendencias en tus registros y notificarte cuando ocurran las condiciones que describes.

Para proporcionar a Cloud Monitoring los datos de tus registros, Cloud Logging te ofrece lo siguiente:

  • Métricas basadas en registros, que puedes usar de la siguiente manera:
    • Para crear políticas de alertas que te notifiquen sobre cambios a lo largo del tiempo
    • Para crear gráficos que muestren cambios con el tiempo
  • Alertas basadas en registros, que te notifican cada vez que aparece un evento específico en un registro.

Para obtener más información sobre las métricas basadas en registros y las alertas basadas en registros, consulta Supervisa tus registros.

Si quieres aprender a configurar alertas basadas en registros para invocaciones de flujo de trabajo de Dataform, consulta Configura alertas de invocaciones de flujo de trabajo con errores.

¿Qué sigue?