Configura alertas y notificaciones para las tareas de Dataplex

En esta página, se describe cómo configurar alertas de ejecuciones de trabajos fallidas de una tarea de Dataplex.

Puedes configurar alertas con una de las siguientes opciones:

  • Explorador de registros en la consola de Google Cloud
  • API de Monitoring

Terminología

  • Duración del cierre automático de incidentes: Es la duración después del cual se cierra un incidente cuando no hay entradas de registro que coincidan.
  • Tiempo entre notificaciones: Es la cantidad mínima de tiempo entre la recepción de notificaciones de registros que coinciden con un filtro. Se omitirán todos los registros coincidentes dentro del tiempo mínimo. El tiempo mínimo que puedes establecer es 5 minutos.

Configura notificaciones con el Explorador de registros

  1. Abre la consola de Google Cloud en tu navegador.
  2. Haz clic en Menú de navegación > Logging > Explorador de registros.

  3. Haz clic en el botón de activar o desactivar Mostrar consulta.

    1. Para configurar una alerta por la ejecución de un trabajo con errores de cualquier tarea de Dataplex en un proyecto, escribe la siguiente consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Si quieres configurar una alerta para la ejecución de un trabajo con errores en una tarea específica de Dataplex en un proyecto, escribe la siguiente consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  4. Haz clic en Crear alerta.

  5. En el campo Nombre de la política de alertas, ingresa un nombre para la alerta nueva.

  6. En el campo Documentación, ingresa la descripción que deseas incluir en la notificación. Para obtener más información sobre el contenido que puedes incluir en el campo de documentación de una política de alertas, consulta Usa Markdown y variables en plantillas de documentación.

  7. Haz clic en Siguiente.

  8. Elige los registros que deseas incluir en la alerta y haz clic en Siguiente.

  9. Establece el Tiempo entre notificaciones y la Duración del cierre automático de incidentes, y haz clic en Siguiente.

  10. Opcional: Selecciona un canal de notificaciones. Si quieres obtener más información para configurar canales de notificaciones con la consola de Google Cloud, consulta Administra canales de notificaciones.

  11. Haz clic en Guardar.

Configura notificaciones con la API de Monitoring

  1. Habilitar la API de Monitoring y autorizar a los usuarios a acceder a ella Para obtener más información, consulta Cómo habilitar la API de Monitoring.
  2. Establece los roles o permisos necesarios para crear una política de alertas. Si quieres obtener más información, consulta Autorización necesaria para crear políticas de alertas.
  3. Crea un canal de notificaciones con la consola de Google Cloud o Google Cloud CLI.

  4. Obtén el channel_id con el siguiente comando: 

    gcloud beta monitoring channels list

  5. Crea un archivo policy.json con el siguiente contenido para la política de alertas basada en registros:

    1. Si quieres configurar una alerta para la ejecución de un trabajo con errores de cualquier tarea de Dataplex en un proyecto, usa el siguiente código:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Si quieres configurar una alerta para la ejecución de un trabajo con errores en una tarea específica de Dataplex en un proyecto, usa el siguiente código:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Pasa el archivo policy.json a la CLI de gcloud con el siguiente comando:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Si se ejecuta de forma correcta, el comando mostrará el nombre del recurso de la política nueva. Por ejemplo:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

¿Qué sigue?