Configurar alertas e notificações para tarefas do Dataplex

Esta página descreve como configurar alertas para execuções de jobs com falha de uma tarefa do Dataplex.

Para configurar alertas, use o Explorador de registros no console do ou a API Monitoring.

Terminologia

  • Duração do fechamento automático de incidentes: o período após o fechamento de um incidente quando não há entradas de registro correspondentes.
  • Tempo entre as notificações: tempo mínimo entre o recebimento de notificações para registros que correspondem a um filtro. Qualquer registro correspondente dentro do tempo mínimo é ignorado. O tempo mínimo que você pode definir é de 5 minutos.

Configurar notificações usando a Análise de registros

  1. No console do Google Cloud , acesse a página Análise de registros.

    Acessar o "Explorador de registros"

  2. Clique no botão de alternância Mostrar consulta.

    1. Para configurar um alerta de falha na execução de qualquer tarefa do Dataplex em um projeto, digite a seguinte consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Para configurar um alerta de falha na execução de um job para uma tarefa específica do Dataplex em um projeto, digite a seguinte consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  3. Clique em Criar alerta.

  4. No campo Nome da política de alertas, insira um nome para o novo alerta.

  5. No campo Documentação, insira a descrição que você quer incluir na notificação. Para mais informações sobre o conteúdo que pode ser incluído no campo de documentação de uma política de alertas, consulte Como usar o Markdown e variáveis em modelos de documentação.

  6. Clique em Próxima.

  7. Escolha os registros que você quer incluir no alerta e clique em Próxima.

  8. Defina o Tempo entre as notificações e a Duração do fechamento automático de incidentes e clique em Próxima.

  9. Opcional: selecione um canal de notificação. Para mais informações sobre como configurar canais de notificação usando o console do Google Cloud , consulte Gerenciar canais de notificação.

  10. Clique em Salvar.

Configurar notificações usando a API Monitoring

  1. Opcional: ative a API Monitoring e autorize os usuários a acessá-la. Para mais informações, consulte Ativar a API Monitoring.
  2. Opcional: defina as funções ou permissões necessárias para criar uma política de alertas. Para mais informações, consulte Autorização necessária para criar políticas de alertas.
  3. Crie um canal de notificação usando o console do Google Cloud ou a Google Cloud CLI.

  4. Gere o channel_id: 

    gcloud beta monitoring channels list

  5. Crie um arquivo policy.json com o seguinte conteúdo para log-based-alerting-policy:

    1. Configure um alerta para uma execução de job com falha de qualquer tarefa do Dataplex em um projeto:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Configure um alerta para uma execução de job com falha para uma tarefa específica do Dataplex em um projeto:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Transmita o arquivo policy.json para a CLI gcloud:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Se bem-sucedido, o comando retorna o nome do recurso da nova política. Exemplo:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

A seguir