Criar alertas de pipeline

Nesta página, descrevemos como configurar alertas para pipelines de dados no Cloud Data Fusion.

Você pode criar alertas por meio dos seguintes serviços:

• Alertas por meio do Cloud Data Fusion: esses alertas são configurados quando você cria um pipeline em lote no Cloud Data Fusion. Depois de implantar o pipeline, não será possível adicionar ou editar um alerta.

• Alertas com base em registros por meio do Cloud Monitoring: configure esses alertas no Console do Google Cloud antes e depois de implantar o pipeline.

Antes de começar

Você precisa de uma instância do Cloud Data Fusion. Para mais informações, consulte Como criar uma instância do Cloud Data Fusion.

Adicionar um alerta no Cloud Data Fusion

Observação: não é possível adicionar ou editar alertas em pipelines implantados no Cloud Data Fusion.

1. Abra sua instância.

   1. No Console do Google Cloud, acesse a página do Cloud Data Fusion.

   2. Para abrir a instância na interface da Web do Cloud Data Fusion, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

2. Acesse a página do Studio em que você está criando o pipeline.

3. Clique em Configurar > Alertas de pipeline > Adicionar.

4. Selecione e configure o alerta. Para mais informações sobre como configurar alertas, consulte Alertas de pipeline em lote.

   Observação: para alertas de e-mail, se o pipeline não tiver um cluster do Dataproc de longa duração com o servidor SMTP, digite as informações do servidor de e-mail ou do serviço, como requisitos de host e porta.

5. Depois de configurar o alerta, clique em Validar para verificar se há erros e clique em Confirmar.

Criar um alerta no Monitoring

1. Ative o Cloud Logging na instância do Cloud Data Fusion.

2. Criar um alerta com base em registros.

   1. No console do Google Cloud, acesse a página do Explorador de registros.

      Acesse o Explorador de registros

      Esta página permite armazenar, consultar, atualizar e excluir dados.

   2. Digite a seguinte consulta:

      resource.type="cloud_dataproc_cluster"
      logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
      resource.labels.project_id="PROJECT_ID"
      severity=ERROR
      jsonPayload.message=~"Pipeline '.*' failed."
      

      Substitua PROJECT_ID pelo ID do projeto.

   3. Clique em Criar alerta e configure o alerta.

Um alerta só é gerado quando o pipeline é executado em um cluster do Dataproc e falha. Para falhas na criação de cluster do Dataproc, o alerta não é gerado.

A seguir

• Consulte as páginas de referência Alertas de pipeline em lote do SO CDAP.