Supervisa las ejecuciones

Este documento te muestra cómo hacer lo siguiente:

Antes de comenzar

Para supervisar los registros de ejecución, asegúrate de hacer lo siguiente:

  1. En la consola de Google Cloud, ve a la página Dataform.

    Ir a Dataform

  2. Selecciona o crea un repositorio.

  3. Selecciona o crea un lugar de trabajo de desarrollo.

  4. Ejecuta la activación al menos una vez.

Roles obligatorios

Para obtener los permisos que necesitas para ver los registros de ejecución, pídele a tu administrador que te otorgue el rol de IAM Editor de Dataform (roles/dataform.editor) en el repositorio de workflowInvocations. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

El rol de IAM de Visualizador de registros (roles/logging.viewer) te otorga acceso de solo lectura a todas las funciones de Cloud Logging. Para obtener más información sobre los permisos y los roles de Identity and Access Management que se aplican a los datos de Logging, consulta Control de acceso con IAM.

Para crear y administrar alertas basadas en registros, asegúrate de que tu rol de IAM incluya los permisos que se describen en Roles necesarios para crear y usar políticas de alertas basadas en registros.

Supervisa los registros de ejecución

En esta sección, se muestra cómo ver los registros de ejecución en Dataform.

Puedes ver los registros de todas las ejecuciones que se activan en un repositorio y los registros de las ejecuciones que se activaron en un espacio de trabajo en las últimas 24 horas.

Inspecciona los registros de ejecución del repositorio

Para ver los registros de todas las ejecuciones activadas en un repositorio, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Dataform.

    Ir a Dataform

  2. Ve a tu repositorio.

  3. Haz clic en Registros de ejecución del flujo de trabajo.

  4. Para ver los detalles de una ejecución, haz clic en ella.

  5. Para ver los detalles de una acción dentro de la ejecución, haz clic en Ver detalles.

Inspecciona los registros de ejecución de Workspace

Para ver los registros de las 1,000 ejecuciones más recientes que se activaron en un espacio de trabajo en las últimas 24 horas, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Dataform.

    Ir a Dataform

  2. Ve a tu repositorio y selecciona tu lugar de trabajo.

  3. En tu lugar de trabajo, haz clic en Ejecuciones.

  4. Para ver los detalles de una ejecución, haz clic en ella.

  5. Para ver los detalles de una acción dentro de la ejecución, haz clic en Ver detalles.

Cómo ver los registros de Logging de Dataform

En esta sección, se muestra cómo ver los registros de Cloud Logging para las invocaciones de flujos de trabajo de Dataform.

Cada invocación del flujo de trabajo de Dataform se registra con registros. El registro se habilita automáticamente para las invocaciones de flujos de trabajo de Dataform, lo que puede generar cargos de facturación de Logging. Para obtener más información, consulta Precios de Dataform.

Ver registros

Para obtener información sobre cómo filtrar registros de registro en el Explorador de registros, consulta Visualiza registros con el Explorador de registros.

Los registros de Dataform se indexan por el repositorio de Dataform.

Formato de registro

Dataform envía mensajes de registro de invocación de flujo de trabajo en el siguiente formato:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

¿Qué se registra?

Las entradas de registro de Dataform contienen información útil para supervisar y depurar las invocaciones de flujo de trabajo.

Las entradas de registro contienen los siguientes tipos de información:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: Puede ser INFO, WARNING o ERROR
  • terminalState: Puede ser SUCCEEDED, CANCELED o FAILED
  • timestamp
  • @type

Configura métricas y alertas con Cloud Monitoring

Puedes usar Monitoring para observar las tendencias en tus registros y notificarte cuando se produzcan las condiciones que describes.

Para proporcionar a Monitoring datos de tus registros, Logging te ofrece lo siguiente:

  • Métricas basadas en registros, que puedes usar de la siguiente manera:
    • Para crear políticas de alertas que te notifiquen sobre cambios a lo largo del tiempo
    • Para crear gráficos que muestren cambios con el tiempo
  • Alertas basadas en registros, que te notifican cada vez que aparece un evento específico en un registro.

Para obtener más información sobre las métricas y alertas basadas en registros, consulta Supervisa tus registros.

Si quieres obtener información para configurar alertas basadas en registros para invocaciones de flujos de trabajo de Dataform, consulta Configura alertas para invocaciones de flujos de trabajo fallidas.

Configura alertas para las invocaciones de flujo de trabajo con errores

En esta sección, se muestra cómo configurar alertas basadas en registros para invocaciones de flujos de trabajo de Dataform que fallaron con el Explorador de registros.

Puedes usar la supervisión para observar las tendencias en los registros de registro de invocaciones de flujo de trabajo de Dataform y recibir notificaciones cuando se produzcan las condiciones que describes.

Cada invocación del flujo de trabajo de Dataform se registra con registros. El registro se habilita automáticamente para las invocaciones de flujos de trabajo de Dataform, lo que puede generar cargos de facturación de Logging. Para obtener más información, consulta Precios de Dataform.

Para recibir alertas cuando falle una invocación de flujo de trabajo de Dataform, puedes crear alertas basadas en registros.

Puedes crear alertas basadas en registros desde la página Explorador de registros en la consola de Google Cloud o mediante la API de Monitoring. En esta sección, se describe cómo crear alertas basadas en registros para fallas de invocación de flujos de trabajo de Dataflow con el Explorador de registros.

Para configurar alertas basadas en registros para invocaciones de flujo de trabajo de Dataform que fallaron, sigue estos pasos:

  1. En la consola de Google Cloud, selecciona Registro y, luego, Explorador de registros.

    Ir al Explorador de registros

  2. En el panel Consulta, selecciona Mostrar consulta y, luego, ingresa la siguiente consulta:

        resource.type="dataform.googleapis.com/Repository"
    jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
    jsonPayload.terminalState="FAILED"

    Esta consulta te alerta sobre todas las invocaciones de flujo de trabajo de Dataform que fallaron.

    1. Opcional: Para filtrar las invocaciones de flujo de trabajo fallidas por una configuración de lanzamiento, agrega lo siguiente a la consulta:

          jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"

      Reemplaza RELEASE_CONFIGURATION_ID por el ID de la configuración de lanzamiento.

    2. Opcional: Para filtrar las invocaciones de flujo de trabajo fallidas por una configuración de flujo de trabajo, agrega lo siguiente a la consulta:

          jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"

      Reemplaza WORKFLOW_CONFIGURATION_ID por el ID de la configuración del flujo de trabajo.

    La siguiente consulta te alerta cuando falla una invocación de flujo de trabajo de Dataform que se relaciona con la configuración de lanzamiento daily y la configuración del flujo de trabajo production:

     resource.type="dataform.googleapis.com/Repository"
 jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
 jsonPayload.terminalState="FAILED"
 jsonPayload.releaseConfigId="daily"
 jsonPayload.workflowConfigId="production"

  3. Opcional: Para validar la consulta, usa Ejecutar consulta en el panel Resultados de la consulta.

  4. En el encabezado del panel Resultados de la consulta, haz clic en Crear alerta. Cuando la ventana es estrecha, la opción Crear alerta podría aparecer en el menú Acciones.

  5. En el panel Detalles de la alerta, asigna un nombre y una descripción a la alerta:

    1. Ingresa un nombre para la alerta en el campo Nombre de la alerta. Por ejemplo: Dataform: workflow failure

    2. Ingresa una descripción de esta alerta. También puedes incluir información que pueda ayudar al destinatario de una notificación a diagnosticar el problema. La siguiente cadena resume el motivo de la alerta:

      Log-based alert in project ${project} detected a failed Dataform workflow.

      Para obtener información sobre cómo puedes dar formato y personalizar el contenido de este campo, consulta Cómo anotar notificaciones con documentación definida por el usuario.

  6. Para avanzar al paso siguiente, haz clic en Siguiente.

  7. En el panel Elegir registros para incluir en el alerta, haz clic en Obtener vista previa de los registros para verificar la consulta y los resultados.

    Recomendamos compilar la consulta en el panel Consulta del Explorador de registros. La consulta que creaste en el panel Consulta también se muestra en este panel.

    Si es necesario, puedes editar la consulta en este panel. Si editas la consulta, haz clic en Obtener vista previa de los registros para verificar los resultados.

  8. Haz clic en Siguiente.

  9. Selecciona el tiempo mínimo entre notificaciones. Este valor te permite controlar la cantidad de notificaciones que recibes de esta alerta si se activa varias veces. Para este ejemplo, selecciona 5 min de las opciones.

  10. Opcional: Selecciona la duración del cierre automático de incidentes. De forma predeterminada, la duración del cierre automático de incidentes se establece en 7 días.

  11. Haz clic en Siguiente.

  12. Selecciona uno o más canales de notificaciones para tu alerta. Para este ejemplo, selecciona un canal de notificaciones por correo electrónico.

    Si ya tienes configurado un canal de notificaciones por correo electrónico, puedes seleccionarlo de la lista. Si no es así, haz clic en Administrar canales de notificaciones y agrega un canal de correo electrónico. Para obtener información sobre cómo crear canales de notificaciones, consulta Cómo crear y administrar canales de notificaciones.

  13. Haz clic en Guardar.

Tu alerta basada en registros ya está lista para probarse. Para obtener instrucciones para probar la alerta, consulta Cómo probar la política de alertas basada en registros de ejemplo.

¿Qué sigue?