Configurar alertas e notificações para tarefas do Dataplex

Nesta página, descrevemos como configurar alertas de execuções de jobs com falha de uma tarefa do Dataplex.

Configure alertas usando uma destas opções:

  • Análise de registros no console do Google Cloud
  • API Monitoring

Terminologia

  • Duração do fechamento automático de incidentes: tempo limite para o fechamento de um incidente quando não há entradas de registro correspondentes.
  • Tempo entre notificações: tempo mínimo entre o recebimento de notificações para registros que correspondem a um filtro. Todos os registros correspondentes no período mínimo de tempo serão ignorados. O tempo mínimo que você pode definir é cinco minutos.

Configurar notificações usando a Análise de registros

  1. Abra o Console do Google Cloud no navegador.
  2. Clique em Menu de navegação > Logging > Análise de registros.

  3. Clique no botão de alternância Mostrar consulta.

    1. Para configurar um alerta de falha na execução de um job de qualquer tarefa do Dataplex em um projeto, digite a seguinte consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Para configurar um alerta de execução de um job com falha para uma tarefa específica do Dataplex em um projeto, digite a seguinte consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  4. Clique em Criar alerta.

  5. No campo Nome da política de alertas, digite um nome para o novo alerta.

  6. No campo Documentação, insira a descrição que você quer incluir na notificação. Para mais informações sobre o conteúdo que você pode incluir no campo de documentação de uma política de alertas, consulte Como usar Markdown e variáveis em modelos de documentação.

  7. Clique em Próxima.

  8. Escolha os registros que você quer incluir no alerta e clique em Próxima.

  9. Defina o Tempo entre as notificações e a Duração do fechamento automático de incidentes e clique em Próxima.

  10. Opcional: selecione um canal de notificação. Para mais informações sobre como configurar canais de notificação usando o console do Google Cloud, consulte Gerenciar canais de notificação.

  11. Clique em Salvar.

Configurar notificações usando a API Monitoring

  1. Ative a API Monitoring e autorize os usuários a acessá-la. Para mais informações, consulte Como ativar a API Monitoring.
  2. Defina os papéis ou as permissões necessários para criar uma política de alertas. Para mais informações, consulte Autorização necessária para criar políticas de alertas.
  3. Crie um canal de notificação usando o Console do Google Cloud ou a Google Cloud CLI.

  4. Acesse o channel_id usando o seguinte comando: 

    gcloud beta monitoring channels list

  5. Crie um arquivo policy.json com o seguinte conteúdo para a política de alertas com base em registros:

    1. Para configurar um alerta para uma execução de job com falha de qualquer tarefa do Dataplex em um projeto, use o seguinte código:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Para configurar um alerta de execução de um job com falha para uma tarefa específica do Dataplex em um projeto, use o seguinte código:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Transmita o arquivo policy.json para a CLI gcloud usando o seguinte comando:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Se for bem-sucedido, o comando retornará o nome do recurso da nova política. Exemplo:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

A seguir