Crie alertas de pipeline

Esta página descreve como configurar alertas para pipelines de dados no Cloud Data Fusion.

Pode criar alertas através dos seguintes serviços:

  • Alertas através do Cloud Data Fusion: configura estes alertas quando cria um pipeline em lote no Cloud Data Fusion. Depois de implementar o pipeline, não pode adicionar nem editar um alerta.

  • Alertas baseados em registos através do Cloud Monitoring: configura estes alertas na consola antes e depois de implementar o pipeline. Google Cloud

Antes de começar

Precisa de uma instância do Cloud Data Fusion. Para mais informações, consulte o artigo Criar uma instância do Cloud Data Fusion.

Adicione um alerta no Cloud Data Fusion

  1. Abra a instância.

    1. Na Google Cloud consola, aceda à página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e, de seguida, em Ver instância.

      Aceda a Instâncias

  2. Aceda à página Studio onde está a criar o seu pipeline.

  3. Clique em Configurar > Alertas de pipeline > Adicionar.

  4. Selecione e configure o alerta. Para mais informações sobre a configuração de alertas, consulte o artigo Alertas de pipeline em lote.

  5. Depois de configurar o alerta, clique em Validar para verificar se existem erros e, de seguida, clique em Confirmar.

Crie um alerta na Monitorização

  1. Ative o Cloud Logging na sua instância do Cloud Data Fusion.

  2. Crie um alerta baseado em registos.

    1. Na Google Cloud consola, aceda à página Explorador de registos.

      Aceda ao Explorador de registos

      Esta página permite-lhe armazenar, consultar, atualizar e eliminar dados.

    2. Introduza a seguinte consulta:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Substitua PROJECT_ID pelo ID do seu projeto.

    3. Clique em Criar alerta e configure o alerta.

Um alerta só é gerado quando o pipeline é executado num cluster do Dataproc e falha. Para falhas na criação de clusters do Dataproc, o alerta não é gerado.

O que se segue?