Creare avvisi sulla pipeline

Questa pagina descrive come configurare gli avvisi per le pipeline di dati in Cloud Data Fusion.

Puoi creare avvisi tramite i seguenti servizi:

  • Allerte tramite Cloud Data Fusion: puoi configurare questi avvisi quando progetti una pipeline batch in Cloud Data Fusion. Dopo aver eseguito il deployment della pipeline, non puoi aggiungere o modificare un avviso.

  • Avvisi basati su log tramite Cloud Monitoring: puoi configurare questi avvisi in la console Google Cloud prima e dopo il deployment della pipeline.

Prima di iniziare

Hai bisogno di un'istanza Cloud Data Fusion. Per ulteriori informazioni, vedi Creazione di un'istanza Cloud Data Fusion.

Aggiungi un avviso in Cloud Data Fusion

  1. Apri l'istanza.

    1. Nella console Google Cloud, vai alla pagina di Cloud Data Fusion.

    2. Per aprire l'istanza in Cloud Data Fusion Studio: Fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

  2. Vai alla pagina Studio in cui stai progettando la pipeline.

  3. Fai clic su Configura > Avvisi pipeline > Aggiungi.

  4. Seleziona e configura l'avviso. Per ulteriori informazioni sulla configurazione avvisi, vedi Avvisi di pipeline batch.

  5. Dopo aver configurato l'avviso, fai clic su Convalida per verificare la presenza di errori. quindi fai clic su Conferma.

Creare un avviso in Monitoraggio

  1. Abilita Cloud Logging nella tua istanza Cloud Data Fusion.

  2. Crea un avviso basato su log.

    1. Nella console Google Cloud, vai alla pagina Esplora log.

      Vai a Esplora log

      Questa pagina ti consente di archiviare, eseguire query, aggiornare ed eliminare i dati.

    2. Inserisci la seguente query:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Sostituisci PROJECT_ID con l'ID del tuo progetto.

    3. Fai clic su Crea avviso e configura l'avviso.

Un avviso viene generato solo quando la pipeline viene eseguita su un cluster Dataproc e non va a buon fine. Per gli errori di creazione del cluster Dataproc, l'avviso non viene generato.

Passaggi successivi