Configure alertas e notificações para tarefas do Dataplex Universal Catalog

Esta página descreve como configurar alertas para execuções de tarefas com falhas de uma tarefa do Dataplex Universal Catalog.

Para configurar alertas, pode usar o Explorador de registos na Google Cloud consola ou a API Monitoring.

Terminologia

  • Duração do encerramento automático de incidentes: pode encerrar um incidente automaticamente se não existirem entradas de registo correspondentes dentro desta duração.
  • Tempo entre notificações: pode diminuir a frequência das notificações repetidas definindo um tempo entre a mesma notificação. As entradas de registo que correspondem a um filtro são ignoradas durante este período. O tempo mínimo que pode definir é de 5 minutos.

Configure notificações através do Explorador de registos

  1. Na Google Cloud consola, aceda à página Explorador de registos.

    Aceda ao Explorador de registos

  2. Clique no botão Mostrar consulta.

    1. Para configurar um alerta para uma execução de tarefa com falha de qualquer tarefa do catálogo universal do Dataplex num projeto, escreva a seguinte consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Para configurar um alerta para uma execução de tarefa com falha de um catálogo universal do Dataplex específico num projeto, escreva a seguinte consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  3. Clique em Criar alerta.

  4. No campo Nome da política de alerta, introduza um nome para o novo alerta.

  5. No campo Documentação, introduza a descrição que quer incluir na notificação. Para mais informações sobre o conteúdo que pode incluir no campo de documentação de uma política de alertas, consulte o artigo Usar Markdown e variáveis em modelos de documentação.

  6. Clicar em Seguinte.

  7. Escolha os registos que quer incluir no alerta e clique em Seguinte.

  8. Defina o Tempo entre notificações e a Duração do encerramento automático do incidente, e clique em Seguinte.

  9. Opcional: selecione um canal de notificação. Para mais informações sobre como configurar canais de notificação através da consola do Firebase, consulte o artigo Faça a gestão dos canais de notificação. Google Cloud

  10. Clique em Guardar.

Configure notificações através da API Monitoring

  1. Opcional: ative a API Monitoring e autorize os utilizadores a acederem à mesma. Para mais informações, consulte o artigo Ative a API Monitoring.
  2. Opcional: defina as funções ou as autorizações necessárias para criar uma política de alerta. Para mais informações, consulte o artigo Autorização necessária para criar políticas de alerta.
  3. Crie um canal de notificação através da Google Cloud consola ou da Google Cloud CLI.

  4. Obtenha o channel_id:

    gcloud beta monitoring channels list

  5. Crie um ficheiro policy.json com o seguinte conteúdo para log-based-alerting-policy:

    1. Configure um alerta para uma execução de tarefa com falha de qualquer tarefa do Dataplex Universal Catalog num projeto:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Configure um alerta para uma execução de tarefa com falha para uma tarefa específica do Dataplex Universal Catalog num projeto:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Passe o ficheiro policy.json para a CLI gcloud:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Se for bem-sucedido, o comando devolve o nome do recurso da nova política. Por exemplo:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

O que se segue?