Criar alertas de pipeline

Nesta página, descrevemos como configurar alertas para pipelines de dados no Cloud Data Fusion.

É possível criar alertas por meio dos seguintes serviços:

• Alertas por meio do Cloud Data Fusion: você configura esses alertas ao projetar um pipeline em lote no Cloud Data Fusion. Após a implantação do pipeline, não é possível adicionar ou editar um alerta.

• Alertas com base em registros pelo Cloud Monitoring: configure esses alertas no console do Google Cloud antes e depois de implantar o pipeline.

Antes de começar

Você precisa de uma instância do Cloud Data Fusion. Para mais informações, consulte Como criar uma instância do Cloud Data Fusion.

Adicionar um alerta no Cloud Data Fusion

Observação :não é possível adicionar ou editar alertas em pipelines implantados no Cloud Data Fusion.

1. Abra sua instância.

   1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

   2. Para abrir a instância na interface da Web do Cloud Data Fusion, clique em Instâncias e depois em Ver instância.

      Acesse "Instâncias"

2. Acesse a página do Studio em que você está projetando o pipeline.

3. Clique em Configurar > Alertas de pipeline > Adicionar.

4. Selecione e configure o alerta. Para mais informações sobre como configurar alertas, consulte Alertas de pipeline em lote.

   Observação: para receber alertas por e-mail, se o pipeline não tiver um cluster do Dataproc de longa duração com o servidor SMTP, insira as informações do servidor de e-mail ou do serviço, como os requisitos de host e porta.

5. Depois de configurar o alerta, clique em Validar para verificar se há erros e clique em Confirmar.

Criar um alerta no Monitoring

1. Ative o Cloud Logging na instância do Cloud Data Fusion.

2. Crie um alerta baseado em registros.

   1. No console do Google Cloud, acesse a página do Explorador de registros.

      Acesse o Explorador de registros

      Nessa página, é possível armazenar, consultar, atualizar e excluir dados.

   2. Digite a seguinte consulta:

      resource.type="cloud_dataproc_cluster"
      logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
      resource.labels.project_id="PROJECT_ID"
      severity=ERROR
      jsonPayload.message=~"Pipeline '.*' failed."
      

      Substitua PROJECT_ID pelo ID do projeto.

   3. Clique em Criar alerta e configure o alerta.

Um alerta só é gerado quando o pipeline é executado em um cluster do Dataproc e falha. No caso de falhas na criação de clusters do Dataproc, o alerta não é gerado.

A seguir

• Consulte as páginas de referência Alertas de pipeline em lote do SO do CDAP.