Configura alertas y notificaciones para las tareas de Dataplex

En esta página, se describe cómo configurar alertas para las ejecuciones de trabajos fallidas de una tarea de Dataplex.

Para configurar alertas, puedes usar el Explorador de registros de la consola de Google Cloud o la API de Monitoring.

Terminología

  • Duración del cierre automático de incidentes: Puedes cerrar un incidente automáticamente si no hay entradas de registro que coincidan durante este período.
  • Tiempo entre notificaciones: Puedes disminuir la frecuencia de las notificaciones repetidas configurando un tiempo entre la misma notificación. Las entradas de registro que coinciden con un filtro se omiten durante este tiempo. El tiempo mínimo que puedes establecer es de 5 minutos.

Cómo configurar notificaciones con el Explorador de registros

  1. En la consola de Google Cloud, ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. Haz clic en el botón de activar o desactivar Mostrar consulta.

    1. Para configurar una alerta de ejecución de trabajo fallida de cualquier tarea de Dataplex en un proyecto, escribe la siguiente consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Para configurar una alerta de ejecución de trabajo fallida de una tarea específica de Dataplex en un proyecto, escribe la siguiente consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  3. Haz clic en Crear alerta.

  4. En el campo Nombre de la política de alertas, ingresa un nombre para la alerta nueva.

  5. En el campo Documentación, ingresa la descripción que deseas incluir en la notificación. Para obtener más información sobre el contenido que puedes incluir en el campo de documentación de una política de alertas, consulta Cómo usar Markdown y variables en plantillas de documentación.

  6. Haz clic en Siguiente.

  7. Elige los registros que deseas incluir en la alerta y haz clic en Siguiente.

  8. Establece el Tiempo entre notificaciones y la Duración del cierre automático de incidentes, y haz clic en Siguiente.

  9. Opcional: Selecciona un canal de notificaciones. Para obtener más información sobre cómo configurar los canales de notificaciones con la consola de Google Cloud, consulta Administra canales de notificaciones.

  10. Haz clic en Guardar.

Configura notificaciones con la API de Monitoring

  1. Opcional: Habilita la API de Monitoring y autoriza a los usuarios para que accedan a ella. Para obtener más información, consulta Habilita la API de Monitoring.
  2. Opcional: Establece los roles o permisos necesarios para crear una política de alertas. Para obtener más información, consulta Autorización necesaria para crear políticas de alertas.
  3. Crea un canal de notificaciones con la consola de Google Cloud o Google Cloud CLI.

  4. Obtén el channel_id:

    gcloud beta monitoring channels list

  5. Crea un archivo policy.json con el siguiente contenido para log-based-alerting-policy:

    1. Configura una alerta para una ejecución de trabajo fallida de cualquier tarea de Dataplex en un proyecto:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Configura una alerta para una ejecución de trabajo fallida de una tarea específica de Dataplex en un proyecto:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Pasa el archivo policy.json a la CLI de gcloud:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Si se completa correctamente, el comando muestra el nombre del recurso de la política nueva. Por ejemplo:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

¿Qué sigue?