Configurar alertas e notificações para tarefas do Dataplex

Nesta página, descrevemos como configurar alertas para execuções de jobs com falha de uma tarefa do Dataplex.

É possível configurar alertas usando uma das seguintes opções:

  • Análise de registros no console do Google Cloud
  • API Monitoring

Terminologia

  • Duração do fechamento automático de incidentes: o período após o qual um incidente é fechado quando não há entradas de registro correspondentes.
  • Tempo entre as notificações: tempo mínimo entre o recebimento de notificações para registros que correspondem a um filtro. Qualquer registro correspondente dentro do tempo mínimo é ignorado. O tempo mínimo que você pode definir é de 5 minutos.

Configurar notificações usando a Análise de registros

  1. Abra o Console do Google Cloud no navegador.
  2. Clique em Menu de navegação > Logging > Análise de registros.

  3. Clique no botão de alternância Mostrar consulta.

    1. Para configurar um alerta de falha na execução de qualquer tarefa do Dataplex em um projeto, digite a seguinte consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Para configurar um alerta de falha na execução de um job para uma tarefa específica do Dataplex em um projeto, faça o seguinte: digite a seguinte consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  4. Clique em Criar alerta.

  5. No campo Nome da política de alertas, digite um nome para o novo alerta.

  6. No campo Documentação, insira a descrição que você quer incluir na notificação. Para mais informações sobre o conteúdo que pode ser incluído no campo de documentação de uma política de alertas, consulte Como usar o Markdown e variáveis em modelos de documentação.

  7. Clique em Próxima.

  8. Escolha os registros que você quer incluir no alerta e clique em Próxima.

  9. Defina o Tempo entre as notificações e a Duração do fechamento automático de incidentes e clique em Próxima.

  10. Opcional: selecione um canal de notificação. Para mais informações sobre como configurar canais de notificação usando o console do Google Cloud, consulte Gerenciar canais de notificação.

  11. Clique em Salvar.

Configurar notificações usando a API Monitoring

  1. Ative a API Monitoring e autorize os usuários a acessá-la. Para mais informações, consulte Como ativar a API Monitoring.
  2. Defina as funções ou permissões necessárias para criar uma política de alertas. Para mais informações, consulte Autorização necessária para criar políticas de alertas.
  3. Crie um canal de notificação usando o console do Google Cloud ou a CLI do Google Cloud.

  4. Consiga o channel_id usando o seguinte comando: 

    gcloud beta monitoring channels list

  5. Crie um arquivo policy.json com o seguinte conteúdo para log-based-alerting-policy:

    1. Para configurar um alerta para uma execução de job com falha de qualquer tarefa do Dataplex em um projeto, use o seguinte código:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Para configurar um alerta de falha na execução de um job para uma tarefa específica do Dataplex em um projeto, faça o seguinte: use este código:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Transmita o arquivo policy.json para a CLI gcloud usando o seguinte comando:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Se for bem-sucedido, o comando retornará o nome do recurso da nova política. Exemplo:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

A seguir