Lettura da un'origine di streaming Pub/Sub

Cloud Data Fusion supporta le origini Pub/Sub nelle pipeline di dati in modalità flusso.

Aggiungi un'origine Pub/Sub alla pipeline di dati in modalità flusso

  1. Vai all'istanza:

    1. Nella console Google Cloud, vai alla pagina Cloud Data Fusion.

    2. Per aprire l'istanza nell'interfaccia web di Cloud Data Fusion, fai clic su Istanze, quindi fai clic su Visualizza istanza.

      Vai alle istanze

  2. Nell'interfaccia web di Cloud Data Fusion, fai clic su Studio.

  3. Seleziona Data Pipeline - Realtime.

  4. Nel menu Origine, seleziona Pub/Sub. Nella pipeline viene visualizzato un nodo di origine di flusso Pub/Sub.

  5. Sul nodo Pub/Sub, fai clic su Proprietà per configurare l'origine. Per ulteriori informazioni, consulta Sorgente di streaming Pub/Sub.

Supporto per una singola origine Pub/Sub senza plug-in di Windows

Cloud Data Fusion versione 6.9.1 supporta le pipeline in tempo reale con un'unica origine di flusso di Pub/Sub e senza plug-in per Windows.

  • L'origine di streaming Pub/Sub ha supporto integrato e i dati vengono elaborati almeno una volta. Non è necessario abilitare il checkpoint Spark.
  • L'origine di streaming Pub/Sub crea uno istantanea Pub/Sub all'inizio di ogni batch e lo rimuove alla fine di ogni batch.
  • Alla creazione degli snapshot Pub/Sub è associato un costo. Per ulteriori informazioni, consulta la pagina Prezzi di Pub/Sub.
  • Puoi monitorare la creazione degli snapshot in Cloud Audit Logs.

Esegui l'upgrade di una pipeline con un'origine di streaming Pub/Sub

Cloud Data Fusion supporta gli upgrade di applicazioni dirette per pipeline in modalità flusso con un'origine di streaming Pub/Sub creata in 6.9.1 o versioni successive.

Cloud Data Fusion non supporta gli upgrade per le pipeline di dati con un'origine di streaming Pub/Sub nella versione 6.9.0 o precedenti. Esegui invece l'upgrade di queste pipeline alla versione 6.9.1:

  1. Interrompi la pubblicazione dei dati nell'argomento quando viene pianificato l'upgrade dell'istanza.
  2. Attendi che la pipeline completi l'elaborazione dei dati pubblicati.
  3. Una volta elaborati completamente i dati, arresta la pipeline.
  4. Esegui l'upgrade dell'istanza.
  5. Duplica la pipeline esistente e aggiornala ai plug-in più recenti.
  6. Eseguire il deployment della pipeline.

  7. Esegui la nuova pipeline per leggere i dati.

    La nuova versione utilizza automaticamente lo snapshot anziché il checkpoint Spark.

  8. Elimina la pipeline precedente.

Passaggi successivi