Crea avvisi pipeline

Questa pagina descrive come configurare gli avvisi per le pipeline di dati in Cloud Data Fusion.

Puoi creare avvisi tramite i seguenti servizi:

• Avvisi tramite Cloud Data Fusion: devi configurare questi avvisi quando progetti una pipeline batch in Cloud Data Fusion. Dopo aver eseguito il deployment della pipeline, non puoi aggiungere né modificare un avviso.

• Avvisi basati su log tramite Cloud Monitoring: questi avvisi vengono configurati nella console Google Cloud prima e dopo il deployment della pipeline.

Prima di iniziare

È necessaria un'istanza di Cloud Data Fusion. Per ulteriori informazioni, consulta la pagina relativa alla creazione di un'istanza di Cloud Data Fusion.

Aggiungi un avviso in Cloud Data Fusion

Nota: non puoi aggiungere o modificare avvisi sulle pipeline di cui è stato eseguito il deployment in Cloud Data Fusion.

1. Apri l'istanza.

   1. Nella console Google Cloud, vai alla pagina Cloud Data Fusion.

   2. Per aprire l'istanza nell'interfaccia web di Cloud Data Fusion, fai clic su Istanze, quindi fai clic su Visualizza istanza.

      Vai alle istanze

2. Vai alla pagina di Studio in cui stai progettando la pipeline.

3. Fai clic su Configura > Avvisi sulle pipeline > Aggiungi.

4. Seleziona e configura l'avviso. Per ulteriori informazioni sulla configurazione degli avvisi, consulta Avvisi relativi alle pipeline batch.

   Nota: per gli avvisi via email, se la tua pipeline non ha un cluster Dataproc a lunga esecuzione con server SMTP (Simple Mail Transfer Protocol), inserisci le informazioni del server di posta o del servizio, come l'host e i requisiti di porta.

5. Dopo aver configurato l'avviso, fai clic su Convalida per verificare l'eventuale presenza di errori, poi fai clic su Conferma.

Crea un avviso in Monitoring

1. Abilita Cloud Logging nella tua istanza di Cloud Data Fusion.

2. Crea un avviso basato su log.

   1. Nella console Google Cloud, vai alla pagina Esplora log.

      Vai a Esplora log

      Questa pagina consente di archiviare, eseguire query, aggiornare ed eliminare dati.

   2. Inserisci la seguente query:

      resource.type="cloud_dataproc_cluster"
      logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
      resource.labels.project_id="PROJECT_ID"
      severity=ERROR
      jsonPayload.message=~"Pipeline '.*' failed."
      

      Sostituisci PROJECT_ID con l'ID del progetto.

   3. Fai clic su Crea avviso e configura l'avviso.

Un avviso viene generato solo quando la pipeline viene eseguita su un cluster Dataproc e ha esito negativo. In caso di errori di creazione del cluster Dataproc, l'avviso non viene generato.

Passaggi successivi

• Consulta le pagine di riferimento relative agli avvisi di pipeline in modalità batch del sistema operativo CDAP.