Criar alertas de pipeline

Esta página descreve como configurar alertas para pipelines de dados no Cloud Data Fusion.

Você pode criar alertas por meio dos seguintes serviços:

  • Alertas pelo Cloud Data Fusion: configure esses alertas quando criar um pipeline em lote no Cloud Data Fusion. Depois de implantar o pipeline, mas não é possível adicionar ou editar um alerta.

  • Alertas baseados em registros por meio do Cloud Monitoring: configure esses alertas em console do Google Cloud antes e depois de implantar o pipeline.

Antes de começar

Você precisa de uma instância do Cloud Data Fusion. Para mais informações, consulte Como criar uma instância do Cloud Data Fusion.

Adicionar um alerta no Cloud Data Fusion

  1. Abra sua instância.

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Studio do Cloud Data Fusion, Clique em Instâncias e depois em Visualizar instância.

      Acesse "Instâncias"

  2. Acesse a página do Studio em que você está criando o pipeline.

  3. Clique em Configurar > Alertas de pipeline > Adicionar.

  4. Selecione e configure o alerta. Para mais informações sobre como configurar alertas, ver Alertas de pipelines em lote.

  5. Depois de configurar o alerta, clique em Validar para verificar se há erros. e clique em Confirmar.

Criar um alerta no Monitoring

  1. Ative o Cloud Logging na sua instância do Cloud Data Fusion.

  2. Crie um alerta com base em registros.

    1. No console do Google Cloud, acesse a página do Explorador de registros.

      Acesse o Explorador de registros

      Nesta página, é possível armazenar, consultar, atualizar e excluir dados.

    2. Digite a seguinte consulta:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Substitua PROJECT_ID pelo ID do projeto.

    3. Clique em Criar alerta e configure o alerta.

Um alerta só é gerado quando o pipeline é executado em um cluster do Dataproc. e falha. No caso de falhas na criação de clusters do Dataproc, o alerta é não são gerados.

A seguir