Criar alertas de pipeline

Esta página descreve como configurar alertas para pipelines de dados no Cloud Data Fusion.

É possível criar alertas com os seguintes serviços:

  • Alertas pelo Cloud Data Fusion: você configura esses alertas ao projetar um pipeline em lote no Cloud Data Fusion. Depois de implantar o pipeline, não será possível adicionar ou editar um alerta.

  • Alertas com base em registros pelo Cloud Monitoring: configure esses alertas no console do Google Cloud antes e depois de implantar o pipeline.

Antes de começar

Você precisa de uma instância do Cloud Data Fusion. Para mais informações, consulte Como criar uma instância do Cloud Data Fusion.

Adicionar um alerta no Cloud Data Fusion

  1. Abra a instância.

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

  2. Acesse a página do Studio em que você está projetando o pipeline.

  3. Clique em Configurar > Alertas de pipeline > Adicionar.

  4. Selecione e configure o alerta. Para mais informações sobre como configurar alertas, consulte Alertas de pipeline em lote.

  5. Depois de configurar o alerta, clique em Validar para verificar se há erros e em Confirmar.

Criar um alerta no Monitoring

  1. Ative o Cloud Logging na sua instância do Cloud Data Fusion.

  2. Crie um alerta com base em registros.

    1. No console do Google Cloud, acesse a página do Explorador de registros.

      Acesse o Explorador de registros

      Nesta página, você pode armazenar, consultar, atualizar e excluir dados.

    2. Digite a seguinte consulta:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Substitua PROJECT_ID pelo ID do projeto.

    3. Clique em Criar alerta e configure o alerta.

Um alerta só é gerado quando o pipeline é executado em um cluster do Dataproc e falha. Para falhas na criação de clusters do Dataproc, o alerta não é gerado.

A seguir