Crea avvisi pipeline

Questa pagina descrive come configurare gli avvisi per le pipeline di dati in Cloud Data Fusion.

Puoi creare avvisi tramite i seguenti servizi:

• Avvisi tramite Cloud Data Fusion: puoi configurare questi avvisi quando progetti una pipeline batch in Cloud Data Fusion. Dopo aver eseguito il deployment della pipeline, non puoi aggiungere o modificare un avviso.

• Avvisi basati su log tramite Cloud Monitoring: li configuri nella console Google Cloud prima e dopo il deployment della pipeline.

Prima di iniziare

È necessaria un'istanza di Cloud Data Fusion. Per ulteriori informazioni, consulta Creazione di un'istanza Cloud Data Fusion.

Aggiungi un avviso in Cloud Data Fusion

Nota: non puoi aggiungere o modificare avvisi sulle pipeline di cui hai eseguito il deployment in Cloud Data Fusion.

1. Apri l'istanza.

   1. Nella console Google Cloud, vai alla pagina Cloud Data Fusion.

   2. Per aprire l'istanza nell'interfaccia web di Cloud Data Fusion, fai clic su Istanze, quindi fai clic su Visualizza istanza.

      Vai alle istanze

2. Vai alla pagina di Studio in cui stai progettando la pipeline.

3. Fai clic su Configura > Avvisi pipeline > Aggiungi.

4. Seleziona e configura l'avviso. Per ulteriori informazioni sulla configurazione degli avvisi, consulta Avvisi sulle pipeline in modalità batch.

   Nota: per gli avvisi email, se la pipeline non dispone di un cluster Dataproc a lunga esecuzione con il server SMTP (Simple Mail Transfer Protocol), inserisci le informazioni del server di posta o del servizio, come i requisiti dell'host e della porta.

5. Dopo aver configurato l'avviso, fai clic su Convalida per verificare la presenza di errori, quindi fai clic su Conferma.

Crea un avviso in Monitoring

1. Attiva Cloud Logging nella tua istanza di Cloud Data Fusion.

2. Crea un avviso basato su log.

   1. Nella console Google Cloud, vai alla pagina Esplora log.

      Vai a Esplora log

      Questa pagina consente di archiviare, eseguire query, aggiornare ed eliminare dati.

   2. Inserisci la query seguente:

      resource.type="cloud_dataproc_cluster"
      logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
      resource.labels.project_id="PROJECT_ID"
      severity=ERROR
      jsonPayload.message=~"Pipeline '.*' failed."
      

      Sostituisci PROJECT_ID con l'ID del tuo progetto.

   3. Fai clic su Crea avviso e configura l'avviso.

Un avviso viene generato solo quando la pipeline viene eseguita su un cluster Dataproc e non riesce. In caso di errori relativi alla creazione del cluster Dataproc, l'avviso non viene generato.

Passaggi successivi

• Fai riferimento alle pagine di riferimento Avvisi pipeline pipeline CDAP.