Creare avvisi sulla pipeline

Questa pagina descrive come configurare gli avvisi per le pipeline di dati in Cloud Data Fusion.

Puoi creare avvisi tramite i seguenti servizi:

  • Allerte tramite Cloud Data Fusion: puoi configurare questi avvisi quando progetti una pipeline batch in Cloud Data Fusion. Dopo aver eseguito il deployment della pipeline, non puoi aggiungere o modificare un avviso.

  • Avvisi basati su log tramite Cloud Monitoring: puoi configurare questi avvisi nella console Google Cloud prima e dopo il deployment della pipeline.

Prima di iniziare

È necessaria un'istanza Cloud Data Fusion. Per scoprire di più, consulta la sezione Creare un'istanza Cloud Data Fusion.

Aggiungere un avviso in Cloud Data Fusion

  1. Apri l'istanza.

    1. Nella console Google Cloud, vai alla pagina Cloud Data Fusion.

    2. Per aprire l'istanza in Cloud Data Fusion Studio, fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

  2. Vai alla pagina Studio in cui stai progettando la pipeline.

  3. Fai clic su Configura > Avvisi sulla pipeline > Aggiungi.

  4. Seleziona e configura l'avviso. Per ulteriori informazioni sulla configurazione degli avvisi, consulta Avvisi relativi alla pipeline batch.

  5. Dopo aver configurato l'avviso, fai clic su Convalida per verificare la presenza di errori, quindi su Conferma.

Creare un avviso in Monitoraggio

  1. Abilita Cloud Logging nella tua istanza Cloud Data Fusion.

  2. Crea un avviso basato su log.

    1. Nella console Google Cloud, vai alla pagina Esplora log.

      Vai a Esplora log

      Questa pagina ti consente di archiviare, eseguire query, aggiornare ed eliminare i dati.

    2. Inserisci la seguente query:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Sostituisci PROJECT_ID con l'ID del tuo progetto.

    3. Fai clic su Crea avviso e configura l'avviso.

Un avviso viene generato solo quando la pipeline viene eseguita su un cluster Dataproc e non va a buon fine. Per gli errori di creazione del cluster Dataproc, l'avviso non viene generato.

Passaggi successivi