Configurar alertas e notificações para tarefas do Dataplex

Esta página descreve como configurar alertas para execuções de jobs com falha de uma tarefa do Dataplex.

Para configurar alertas, use o Explorador de registros no console do Google Cloud ou a API Monitoring.

Terminologia

  • Duração do fechamento automático de incidentes: é possível fechar um incidente automaticamente se não houver entradas de registro correspondentes dentro desse período.
  • Tempo entre as notificações: é possível diminuir a frequência de notificações repetidas definindo um tempo entre a mesma notificação. As entradas de registro que correspondem a um filtro são ignoradas durante esse período. O tempo mínimo que você pode definir é de 5 minutos.

Configurar notificações usando a Análise de registros

  1. No console do Google Cloud, acesse a página do Explorador de registros.

    Acessar o "Explorador de registros"

  2. Clique no botão de alternância Mostrar consulta.

    1. Para configurar um alerta para uma execução de job com falha de qualquer tarefa do Dataplex em um projeto, digite a seguinte consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Para configurar um alerta para uma execução de job com falha de uma tarefa específica do Dataplex em um projeto, digite a seguinte consulta:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  3. Clique em Criar alerta.

  4. No campo Nome da política de alertas, insira um nome para o novo alerta.

  5. No campo Documentação, insira a descrição que você quer incluir na notificação. Para mais informações sobre o conteúdo que pode ser incluído no campo de documentação de uma política de alertas, consulte Como usar o Markdown e variáveis em modelos de documentação.

  6. Clique em Próxima.

  7. Escolha os registros que você quer incluir no alerta e clique em Próxima.

  8. Defina o Tempo entre as notificações e a Duração do fechamento automático de incidentes e clique em Próxima.

  9. Opcional: selecione um canal de notificação. Para mais informações sobre como configurar canais de notificação usando o console do Google Cloud, consulte Gerenciar canais de notificação.

  10. Clique em Salvar.

Configurar notificações usando a API Monitoring

  1. Opcional: ative a API Monitoring e autorize os usuários a acessá-la. Para mais informações, consulte Ativar a API Monitoring.
  2. Opcional: defina os papéis ou as permissões necessárias para criar uma política de alertas. Para mais informações, consulte Autorização necessária para criar políticas de alertas.
  3. Crie um canal de notificação usando o console do Google Cloud ou a CLI do Google Cloud.

  4. Gere o channel_id:

    gcloud beta monitoring channels list

  5. Crie um arquivo policy.json com o seguinte conteúdo para log-based-alerting-policy:

    1. Configure um alerta para uma execução de job com falha de qualquer tarefa do Dataplex em um projeto:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Configure um alerta para uma execução de job com falha para uma tarefa específica do Dataplex em um projeto:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Transmita o arquivo policy.json para a CLI gcloud:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Se bem-sucedido, o comando retorna o nome do recurso da nova política. Exemplo:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

A seguir