Ver Cloud Logging para Dataform

En este documento, se muestra cómo ver los registros de Cloud Logging para las invocaciones del flujo de trabajo de Dataform.

Cada invocación de flujo de trabajo de Dataform se registra mediante Cloud Logging. Logging se habilita automáticamente para las invocaciones del flujo de trabajo de Dataform, que pueden generar cargos de facturación de Cloud Logging. Para obtener más información, consulta Precios de Dataform.

Permisos y roles

El rol de visualizador de registros (roles/logging.viewer) te otorga acceso de solo lectura a todas las funciones de Logging. Para obtener más información sobre los permisos y las funciones de IAM que se aplican a los datos de Cloud Logging, consulta la guía de control de acceso de Cloud Logging.

Visualizar los registros

Para ver los registros, ve al Explorador de registros.

Ir al Explorador de registros.

Para obtener información sobre cómo filtrar los registros de Cloud Logging en el Explorador de registros, consulta Visualiza los registros mediante el Explorador de registros.

Los registros de Dataform se indexan en el repositorio de Dataform.

Formato de registro

Dataform envía mensajes de registro de invocación del flujo de trabajo en el siguiente formato:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

¿Qué se registra?

Las entradas de registro de Dataform contienen información que es útil para supervisar y depurar tus invocaciones del flujo de trabajo.

Las entradas de registro contienen los siguientes tipos de información:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: Puede ser INFO, WARNING o ERROR.
  • terminalState: Puede ser SUCCEEDED, CANCELED o FAILED
  • timestamp
  • @type

Configura métricas y alertas con Cloud Monitoring

Puedes usar Cloud Monitoring para observar tendencias en tus registros y notificarte cuando ocurran las condiciones que describe.

Para proporcionar a Cloud Monitoring datos de tus registros, Cloud Logging te ofrece lo siguiente:

  • Métricas basadas en registros, que puedes usar de la siguiente manera:
    • Para crear políticas de alertas que te notifiquen sobre cambios a lo largo del tiempo
    • Para crear gráficos que muestren cambios con el tiempo
  • Alertas basadas en registros, que te notifican cada vez que aparece un evento específico en un registro.

Para obtener más información sobre las métricas basadas en registros y las alertas basadas en registros, consulta Supervisa tus registros.

Si deseas obtener información sobre cómo configurar alertas basadas en registros para invocaciones del flujo de trabajo de Dataform, consulta Configura alertas para invocaciones de flujos de trabajo con errores.

¿Qué sigue?