Implementare Datastream e Dataflow per l'analisi

---

Datastream supporta il trasferimento di flussi di dati dai database Oracle, MySQL e PostgreSQL direttamente nei set di dati BigQuery. Tuttavia, se hai bisogno di un maggiore controllo sulla logica di elaborazione dello stream, ad esempio la trasformazione dei dati o l'impostazione manuale delle chiavi principali logiche, puoi integrare Datastream con i modelli di job Dataflow.

Questo tutorial mostra come Datastream si integra con Dataflow utilizzando i modelli di job Dataflow per eseguire lo streaming di visualizzazioni materializzate aggiornate in BigQuery per le analisi.

Per le organizzazioni con molte origini dati isolate, l'accesso ai dati aziendali in tutta l'organizzazione, in particolare in tempo reale, può essere limitato e lento. Ciò limita la capacità di introspezione dell'organizzazione.

Datastream fornisce accesso quasi in tempo reale ai dati sulle modifiche provenienti da varie origini dati on-premise e basate su cloud. Datastream offre un'esperienza di configurazione in cui non devi eseguire molte configurazioni per i dati in streaming; è Datastream a occuparsene. Datastream dispone anche di un'API di consumo unificata che democratizza l'accesso della tua organizzazione ai dati aziendali più recenti disponibili per creare scenari integrati.

Uno di questi scenari è il trasferimento di dati da un database di origine a un servizio di archiviazione o a una coda di messaggistica basata su cloud. Dopo che Datastream ha eseguito lo streaming dei dati, questi vengono trasformati in un formato leggibile da altre applicazioni e altri servizi. In questo tutorial, Dataflow è il servizio web che comunica con il servizio di archiviazione o la coda di messaggistica per acquisire ed elaborare i dati su Google Cloud.

Scopri come utilizzare Datastream per trasmettere in streaming le modifiche (dati inseriti, aggiornati o eliminati) da un database MySQL di origine a una cartella in un bucket Cloud Storage. Poi, configura il bucket Cloud Storage in modo che invii notifiche utilizzate da Dataflow per rilevare eventuali nuovi file contenenti le modifiche ai dati che Datastream acquisisce dal database di origine. Un job Dataflow elabora quindi i file e trasferisce le modifiche in BigQuery.

Obiettivi

In questo tutorial:

• Crea un bucket in Cloud Storage. Si tratta del bucket di destinazione in cui Datastream trasmette in streaming schemi, tabelle e dati da un database MySQL di origine.
• Attiva le notifiche Pub/Sub per il bucket Cloud Storage. In questo modo, configuri il bucket in modo che invii notifiche utilizzate da Dataflow per conoscere i nuovi file pronti per l'elaborazione. Questi file contengono le modifiche ai dati che Datastream trasmette dal database di origine al bucket.
• Creare set di dati in BigQuery. BigQuery utilizza i set di dati per contenere i dati che riceve da Dataflow. Questi dati rappresentano le modifiche nel database di origine che Datastream trasmette in streaming nel bucket Cloud Storage.
• Crea e gestisci i profili di connessione per un database di origine e un bucket di destinazione in Cloud Storage. Uno stream in Datastream utilizza le informazioni nei profili di connessione per trasferire i dati dal database di origine al bucket.
• Crea e avvia uno stream. Questo stream trasferisce dati, schemi e tabelle dal database di origine al bucket.
• Verifica che Datastream trasferisca i dati e le tabelle associati a uno schema del database di origine nel bucket.
• Crea un job in Dataflow. Dopo che Datastream ha eseguito lo streaming delle modifiche dei dati dal database di origine al bucket Cloud Storage, vengono inviate a Dataflow notifiche relative ai nuovi file contenenti le modifiche. Il job Dataflow elabora i file e trasferisce le modifiche in BigQuery.
• Verifica che Dataflow elabori i file contenenti le modifiche associate a questi dati e le trasferisca in BigQuery. Di conseguenza, hai un'integrazione end-to-end tra Datastream e BigQuery.
• Elimina le risorse che hai creato su Datastream, Cloud Storage, Pub/Sub, Dataflow e BigQuery in modo che non occupino la quota e non ti vengano fatturate in futuro.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

• Datastream
• Cloud Storage
• Pub/Sub
• Dataflow
• BigQuery

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi Google Cloud utenti potrebbero avere diritto a una prova gratuita.

Prima di iniziare

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Abilita l'API Datastream.

   Abilita l'API

7. Assicurati di aver concesso il ruolo Amministratore Datastream al tuo account utente.

   Vai alla pagina IAM

8. Assicurati di disporre di un database MySQL di origine a cui Datastream possa accedere. Inoltre, verifica di disporre di dati, tabelle e schemi nel database.
9. Configura il database MySQL in modo da consentire le connessioni in entrata dagli indirizzi IP pubblici di Datastream. Per un elenco di tutte le regioni Datastream e dei relativi indirizzi IP pubblici associati, consulta Liste consentite e regioni IP.
10. Configura la tecnologia Change Data Capture (CDC) per il database di origine. Per ulteriori informazioni, consulta Configurare un database MySQL di origine.

11. Assicurati di soddisfare tutti i prerequisiti per attivare le notifiche Pub/Sub per Cloud Storage.

    In questo tutorial, crei un bucket di destinazione in Cloud Storage e attivi le notifiche Pub/Sub per il bucket. In questo modo, Dataflow può ricevere notifiche sui nuovi file che Datastream scrive nel bucket. Questi file contengono le modifiche ai dati che Datastream trasmette dal database di origine al bucket.

Requisiti

Datastream offre una serie di opzioni di origine, opzioni di destinazione e metodi di connettività di rete.

Per questo tutorial, presupponiamo che tu stia utilizzando un database MySQL autonomo e un servizio Cloud Storage di destinazione. Per il database di origine, dovresti essere in grado di configurare la rete per aggiungere una regola firewall in entrata. Il database di origine può essere on-premise o in un provider cloud. Per la destinazione Cloud Storage, non è richiesta alcuna configurazione di connettività.

Poiché non possiamo conoscere le specifiche del tuo ambiente, non possiamo fornire passaggi dettagliati per la configurazione di rete.

Per questo tutorial, seleziona Lista consentita IP come metodo di connettività di rete. La lista consentita di IP è una funzionalità di sicurezza spesso utilizzata per limitare e controllare l'accesso ai dati nel database di origine da parte di utenti attendibili. Puoi utilizzare le liste consentite IP per creare elenchi di indirizzi IP o intervalli IP attendibili da cui i tuoi utenti e altri Google Cloud servizi come Datastream possono accedere a questi dati. Per utilizzare le liste consentite di IP, devi aprire il database o il firewall di origine alle connessioni in entrata da Datastream.

Creare un bucket in Cloud Storage

Crea un bucket di destinazione in Cloud Storage in cui Datastream esegue lo streaming di schemi, tabelle e dati da un database MySQL di origine.

1. Nella Google Cloud console, vai alla pagina Browser per Cloud Storage.

   Vai alla pagina Browser

2. Fai clic su Crea bucket. Viene visualizzata la pagina Crea un bucket.

3. Nel campo di testo della regione Assegna un nome al bucket, inserisci un nome univoco per il bucket, quindi fai clic su Continua.

4. Accetta le impostazioni predefinite per ogni regione rimanente della pagina. Al termine di ogni regione, fai clic su Continua.

5. Fai clic su Crea.

Attiva le notifiche Pub/Sub per il bucket Cloud Storage

In questa sezione, attivi le notifiche Pub/Sub per il bucket Cloud Storage che hai creato. In questo modo, configuri il bucket in modo che invii una notifica a Dataflow di tutti i nuovi file scritti da Datastream nel bucket. Questi file contengono le modifiche ai dati che Datastream trasmette in streaming da un database MySQL di origine al bucket.

Prima di attivare le notifiche per il bucket, assicurati di soddisfare tutti i prerequisiti.

1. Accedi al bucket Cloud Storage che hai creato. Viene visualizzata la pagina Dettagli bucket.

2. Fai clic su Attiva Cloud Shell.

3. Al prompt, inserisci il seguente comando:

   gcloud storage buckets notifications create gs://bucket-name --topic=my_integration_notifs --payload-format=json --object-prefix=integration/tutorial/

   bucket-name è un segnaposto per il nome del bucket Cloud Storage.

   Inserendo questo comando, crei l'argomento my_integration_notifs in Pub/Sub. Inoltre, configuri le notifiche Pub/Sub in modo che ascoltino solo il percorso di output di Datastream definito nel passaggio Creare un profilo di connessione di destinazione per Cloud Storage. Più avanti in questa procedura, configurerai questo argomento in Pub/Sub per inviare a Dataflow notifiche relative alle modifiche ai dati che Datastream trasmette in streaming nel tuo bucket Cloud Storage.

   L'argomento Pub/Sub acquisisce eventuali modifiche a questi dati. Tutti gli abbonati a questo argomento (ad esempio Dataflow) ricevono queste informazioni.

4. (Facoltativo) Se viene visualizzata una finestra Autorizza Cloud Shell, fai clic su Autorizza.

5. Verifica di visualizzare le seguenti righe di codice:

   Created Cloud Pub/Sub topic projects/project-name/topics/my_integration_notifs
   Created notification config projects/_/buckets/bucket-name/notificationConfigs/1
   

   project-name è un segnaposto per il nome del Google Cloud progetto.

6. Nella Google Cloud console, vai alla pagina Argomenti per Pub/Sub.

   Vai alla pagina Argomenti

7. Fai clic sull'argomento my_integration_notifs che hai creato.

8. Nella pagina my_integration_notifs, scorri fino in fondo alla pagina. Verifica che la scheda Abbonamenti sia attiva e che venga visualizzato il messaggio Nessun abbonamento da visualizzare.

   Creerai una sottoscrizione per l'argomento my_integration_notifs. Le app che si iscrivono a questa sottoscrizione, come Dataflow, possono ottenere le informazioni nell'argomento. Queste informazioni sono associate alle modifiche ai dati nel database di origine che Datastream trasmette in streaming nel bucket Cloud Storage.

9. Fai clic su Crea sottoscrizione.

10. Nel menu visualizzato, seleziona Crea sottoscrizione.

11. Nella pagina Aggiungi sottoscrizione all'argomento:

    1. Nel campo ID abbonamento, inserisci my_integration_notifs_sub.
    2. Imposta il valore Scadenza conferma su 120 secondi. In questo modo, Dataflow ha tempo sufficiente per confermare i file elaborati e contribuisce a migliorare le prestazioni complessive del job Dataflow. Per ulteriori informazioni sulle proprietà delle sottoscrizioni Pub/Sub, consulta Proprietà delle sottoscrizioni.
    3. Lascia invariati tutti gli altri valori predefiniti nella pagina.
    4. Fai clic su Crea.

Più avanti in questo tutorial, creerai un job Dataflow. Durante la creazione di questo job, assegni a Dataflow l'abbonamento all'abbonamento my_integration_notifs_sub. In questo modo, Dataflow può ricevere notifiche sui nuovi file scritti da Datastream in Cloud Storage, elaborarli e trasferire le modifiche ai dati in BigQuery.

Creare set di dati in BigQuery

In questa sezione crei set di dati in BigQuery. BigQuery utilizza i set di dati per contenere i dati che riceve da Dataflow. Questi dati rappresentano le modifiche nel database MySQL di origine che Datastream trasmette in streaming nel tuo bucket Cloud Storage.

1. Vai alla pagina Area di lavoro SQL per BigQuery nella Google Cloud console.

   Vai alla pagina Spazio di lavoro SQL

2. Nel riquadro Explorer, accanto al nome del Google Cloud progetto, fai clic su Visualizza azioni.

3. Nel menu visualizzato, seleziona Crea set di dati.

4. Nella finestra Crea set di dati:

   1. Nel campo ID set di dati, inserisci un ID per il set di dati. Per questo tutorial, inserisci My_integration_dataset_log nel campo.
   2. Lascia invariati tutti gli altri valori predefiniti nella finestra.
   3. Fai clic su Crea set di dati.
   Dataflow utilizza il set di dati My_integration_dataset_log per eseguire il commit delle modifiche ai dati che riceve da Datastream.

5. Nel riquadro Explorer, accanto al nome del progetto Google Cloud , fai clic su Espandi nodo e verifica di vedere il set di dati che hai creato.

6. Segui i passaggi di questa procedura per creare un secondo set di dati: My_integration_dataset_final.

   Le modifiche messe in fase nel set di dati My_integration_dataset_log vengono unite nel set di dati My_integration_dataset_final per creare una replica uno a uno delle tabelle nel database di origine.

7. Accanto a ogni set di dati, espandi Espandi nodo.

8. Verifica che ogni set di dati sia vuoto.

Dopo che Datastream ha eseguito lo streaming delle modifiche dei dati dal database di origine al bucket Cloud Storage, un job Dataflow elabora i file contenenti le modifiche e le trasferisce nei set di dati BigQuery.

Creare profili di connessione in Datastream

In questa sezione, crei profili di connessione in Datastream per un database di origine e una destinazione. Durante la creazione dei profili di connessione, seleziona MySQL come tipo di profilo per il profilo di connessione di origine e Cloud Storage come tipo di profilo per il profilo di connessione di destinazione.

Datastream utilizza le informazioni definite nei profili di connessione per connettersi sia all'origine che alla destinazione in modo da poter trasmettere in streaming i dati dal database di origine al bucket di destinazione in Cloud Storage.

Crea un profilo di connessione di origine per il database MySQL

1. Nella Google Cloud console, vai alla pagina Profili di connessione per Datastream.

   Vai alla pagina Profili di connessione

2. Fai clic su Crea profilo.

3. Per creare un profilo di connessione di origine per il database MySQL, nella pagina Crea un profilo di connessione, fai clic sul tipo di profilo MySQL.

4. Nella sezione Definire le impostazioni di connessione della pagina Crea profilo MySQL, fornisci le seguenti informazioni:

   • Nel campo Nome profilo di connessione, inserisci My Source Connection Profile.
   • Mantieni l'ID profilo di connessione generato automaticamente.

   • Seleziona la regione in cui vuoi archiviare il profilo di connessione.

     I profili di connessione, come tutte le risorse, vengono salvati in una regione e uno stream può utilizzare solo i profili di connessione archiviati nella stessa regione dello stream. La selezione della regione non influisce sulla possibilità per Datastream di connettersi all'origine o alla destinazione, ma può influire sulla disponibilità se la regione presenta tempi di inattività.

   • Inserisci i dettagli della connessione:

     • Nel campo Nome host o IP, inserisci un nome host o un indirizzo IP pubblico che Datastream possa utilizzare per la connessione al database di origine. Fornisci un indirizzo IP pubblico perché utilizzi la lista consentita IP come metodo di connettività di rete per questo tutorial.
     • Nel campo Porta, inserisci il numero di porta riservato al database di origine. Per un database MySQL, la porta predefinita è in genere 3306.
     • Inserisci un nome utente e una password per autenticarti nel database di origine.

5. Nella sezione Definire le impostazioni di connessione, fai clic su Continua. La sezione Proteggi la connessione alla tua origine della pagina Crea profilo MySQL è attiva.

6. Nel menu Tipo di crittografia, seleziona Nessuna. Per ulteriori informazioni su questo menu, consulta Creare un profilo di connessione per il database MySQL.

7. Nella sezione Proteggi la connessione alla sorgente, fai clic su Continua. La sezione Definisci metodo di connettività della pagina Crea profilo MySQL è attiva.

8. Nel menu a discesa Metodo di connettività, scegli il metodo di rete che vuoi utilizzare per stabilire la connettività tra Datastream e il database di origine. Per questo tutorial, seleziona Lista consentita IP come metodo di connettività.

9. Configura il database di origine in modo da consentire le connessioni in entrata dagli indirizzi IP pubblici di Datastream visualizzati.

10. Nella sezione Definisci metodo di connettività, fai clic su Continua. La sezione Testa il profilo di connessione della pagina Crea profilo MySQL è attiva.

11. Fai clic su Esegui test per verificare che il database di origine e Datastream possano comunicare tra loro.

12. Verifica che venga visualizzato lo stato Test superato.

    Se il test non va a buon fine, puoi risolvere il problema nella parte appropriata del flusso e poi tornare a eseguire il test. Per conoscere la procedura da seguire per la risoluzione dei problemi, consulta la pagina Diagnostica dei problemi.

13. Fai clic su Crea.

Creare un profilo di connessione di destinazione per Cloud Storage

1. Nella Google Cloud console, vai alla pagina Profili di connessione per Datastream.

   Vai alla pagina Profili di connessione

2. Fai clic su Crea profilo.

3. Per creare un profilo di connessione di destinazione per Cloud Storage, nella pagina Crea un profilo di connessione, fai clic sul tipo di profilo Cloud Storage.

4. Nella pagina Crea profilo Cloud Storage, fornisci le seguenti informazioni:

   • Nel campo Nome profilo di connessione, inserisci My Destination Connection Profile.
   • Mantieni l'ID profilo di connessione generato automaticamente.
   • Seleziona la regione in cui vuoi archiviare il profilo di connessione.

   • Nel riquadro Dettagli connessione, fai clic su Sfoglia per selezionare il bucket Cloud Storage che hai creato in precedenza in questo tutorial. Questo è il bucket in cui Datastream trasferisce i dati dal database di origine. Dopo aver effettuato la selezione, fai clic su Seleziona.

     Il bucket viene visualizzato nel campo Nome bucket del riquadro Dettagli connessione.

   • Nel campo Prefisso di percorso del profilo di connessione, fornisci un prefisso per il percorso da aggiungere al nome del bucket quando Datastream esegue lo streaming dei dati alla destinazione. Assicurati che Datastream scriva i dati in un percorso all'interno del bucket, non nella cartella principale del bucket. Per questo tutorial, utilizza il percorso definito quando hai configurato la notifica Pub/Sub. Inserisci /integration/tutorial nel campo.

5. Fai clic su Crea.

Dopo aver creato un profilo di connessione di origine per il database MySQL e un profilo di connessione di destinazione per Cloud Storage, puoi utilizzarli per creare uno stream.

Creare uno stream in Datastream

In questa sezione, creerai uno stream. Questo stream utilizza le informazioni nei profili di connessione per trasferire i dati da un database MySQL di origine a un bucket di destinazione in Cloud Storage.

Datastream è dotato di un assistente alla configurazione che ti aiuta a creare uno stream. Questo assistente è composto da sei riquadri: Inizia, Definisci e testa l'origine, Configura l'origine, Definisci la destinazione, Configura la destinazione ed Esamina e crea. Per compilare ogni riquadro, segui le istruzioni riportate nelle sezioni seguenti.

Definisci le impostazioni per lo stream

1. Nella Google Cloud console, vai alla pagina Stream di Datastream.

   Vai alla pagina Stream

2. Fai clic su Crea stream.

3. Fornisci le seguenti informazioni nel riquadro Definisci i dettagli dello stream della pagina Crea stream:

   • Nel campo Nome stream, inserisci My Stream.
   • Mantieni l'ID stream generato automaticamente.
   • Nel menu Regione, seleziona la regione in cui hai creato i profili di connessione di origine e di destinazione.
   • Nel menu Tipo di origine, seleziona il tipo di profilo MySQL.
   • Nel menu Tipo di destinazione, seleziona il tipo di profilo Cloud Storage.

4. Esamina i prerequisiti richiesti che vengono generati automaticamente per riflettere la modalità di preparazione dell'ambiente per uno stream. Questi prerequisiti possono includere la configurazione del database di origine e la connessione di Datastream al bucket di destinazione in Cloud Storage.

   Per ulteriori informazioni su questi prerequisiti, consulta Configurare un database MySQL di origine.

5. Fai clic su Continua. Viene visualizzato il riquadro Definisci profilo di connessione MySQL della pagina Crea stream.

Specifica le informazioni sul profilo di connessione di origine

In questa sezione, seleziona il profilo di connessione che hai creato per il database di origine (profilo di connessione di origine). Per questo tutorial, si tratta di Il mio profilo di connessione di origine.

1. Nel menu Profilo di connessione di origine, seleziona il profilo di connessione di origine per il database MySQL.

2. Fai clic su Esegui test per verificare che il database di origine e Datastream possano comunicare tra loro.

   Se il test non va a buon fine, viene visualizzato il problema associato al profilo di connessione. Per la procedura di risoluzione dei problemi, consulta la pagina Diagnostica i problemi. Apporta le modifiche necessarie per correggere il problema, quindi riprova.

3. Fai clic su Continua. Viene visualizzato il riquadro Configura origine stream della pagina Crea stream.

Configura le informazioni sul database di origine per lo stream

In questa sezione, configuri le informazioni sul database di origine per lo stream specificando le tabelle e gli schemi nel database di origine che Datastream:

• Può essere trasferito nella destinazione.
• Non può essere trasferito nella destinazione.

Puoi anche stabilire se Datastream esegue il backfill dei dati storici, nonché lo streaming delle modifiche in corso nella destinazione o solo delle modifiche ai dati.

1. Utilizza il menu Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire in una cartella del bucket di destinazione in Cloud Storage. Il menu viene caricato solo se il database contiene fino a 5000 oggetti.

   Per questo tutorial, vuoi che Datastream trasferisca tutte le tabelle e tutti gli schemi. Pertanto, seleziona Tutte le tabelle di tutti gli schemi dal menu.

2. Verifica che il riquadro Seleziona gli oggetti da escludere sia impostato su Nessuno. Non vuoi limitare il trasferimento di tabelle e schemi nel database di origine in Cloud Storage da parte di Datastream.

3. Verifica che il riquadro Scegli la modalità di backfill per i dati storici sia impostato su Automatico. Datastream trasmette in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione.

4. Fai clic su Continua. Viene visualizzato il riquadro Definisci profilo di connessione Cloud Storage della pagina Crea stream.

Seleziona un profilo di connessione di destinazione

In questa sezione, seleziona il profilo di connessione che hai creato per Cloud Storage (il profilo di connessione di destinazione). Per questo tutorial, si tratta di Il mio profilo di connessione di destinazione.

1. Nel menu Profilo di connessione di destinazione, seleziona il profilo di connessione di destinazione per Cloud Storage.

2. Fai clic su Continua. Viene visualizzato il riquadro Configura destinazione stream della pagina Crea stream.

Configura le informazioni sulla destinazione dello stream

In questa sezione configuri le informazioni sul bucket di destinazione per lo stream. Queste informazioni includono:

• Il formato di output dei file scritti in Cloud Storage.
• La cartella del bucket di destinazione in cui Datastream trasferisce schemi, tabelle e dati dal database di origine.

1. Nel campo Formato di output, seleziona il formato dei file scritti in Cloud Storage. Datastream supporta due formati di output: Avro e JSON. Per questo tutorial, il formato file è Avro.

   Non è necessario compilare il campo Prefisso del percorso dello stream. In questo campo puoi fornire un prefisso per il percorso che viene aggiunto al nome del bucket quando Datastream trasferisce i dati alla destinazione. Si tratta del percorso del bucket Cloud Storage in cui Datastream trasferisce schemi, tabelle e dati da un database MySQL di origine.

   Hai già fornito il percorso /integration/tutorial quando hai creato il profilo di connessione di destinazione per Cloud Storage.

2. Fai clic su Continua. Viene visualizzato il riquadro Rivedi dettagli flusso e crea della pagina Crea stream.

Crea lo stream

1. Verifica i dettagli dello stream, nonché i profili di connessione di origine e di destinazione utilizzati dallo stream per trasferire i dati da un database MySQL di origine a un bucket di destinazione in Cloud Storage.

2. Per convalidare lo stream, fai clic su Esegui convalida. Convalidando uno stream, Datastream controlla che l'origine sia configurata correttamente, convalida che lo stream possa connettersi sia all'origine che alla destinazione e verifica la configurazione end-to-end dello stream.

   Se un controllo di convalida va a buon fine, viene visualizzata un'icona a forma di segno di spunta.

   Se un controllo di convalida non va a buon fine, viene visualizzata un'icona con punto esclamativo e il pulsante Visualizza dettagli errore. Fai clic sul pulsante per visualizzare una finestra popup che spiega il motivo per cui il controllo non è stato superato e informazioni su cosa fare per risolvere il problema. Dopo aver apportato le correzioni necessarie, fai clic su Convalida di nuovo.

   Per ulteriori informazioni sulla risoluzione dei problemi relativi ai controlli di convalida che non vengono superati, consulta la sezione Risolvere i problemi.

3. Dopo aver superato tutti i controlli di convalida, fai clic su Crea.

4. Nella finestra di dialogo Creare stream?, fai clic su Crea.

Avvia lo stream

Per questo tutorial, crea e avvia uno stream separatamente nel caso in cui il processo di creazione dello stream aumenti il carico sul database di origine. Per posticipare il carico, crea lo stream senza avviarlo e poi avvialo quando il database può gestire il carico.

Se avvii lo stream, Datastream può trasferire dati, schemi e tabelle dal database di origine a quello di destinazione.

1. Nella Google Cloud console, vai alla pagina Stream di Datastream.

   Vai alla pagina Stream

2. Seleziona la casella di controllo accanto allo stream che vuoi avviare. Per questo tutorial, si tratta di Il mio stream.

3. Fai clic su Avvia.

4. Nella finestra di dialogo, fai clic su Avvia. Lo stato dello stream passa da Not started a Starting e poi a Running.

   L'avvio dello stream richiede circa 30 secondi. Le risorse in background devono essere avviate per poter avviare lo stream.

Dopo aver avviato uno stream, puoi verificare che Datastream abbia trasferito i dati dal database di origine alla destinazione.

Verifica lo stream

In questa sezione, confermi che Datastream trasferisce i dati da tutte le tabelle di un database MySQL di origine alla cartella /integration/tutorial del bucket di destinazione Cloud Storage.

1. Nella Google Cloud console, vai alla pagina Stream di Datastream.

   Vai alla pagina Stream

2. Fai clic sullo stream che hai creato. Per questo tutorial, si tratta di Il mio stream.

3. Nella pagina Dettagli stream, fai clic sul link bucket-name/integration/tutorial, dove bucket-name è il nome che hai assegnato al bucket Cloud Storage. Questo link viene visualizzato dopo il campo Percorso scrittura destinazione. La pagina Dettagli bucket di Cloud Storage si apre in una scheda separata.

   Il link è composto dal nome del bucket e dalla cartella del bucket in cui Datastream trasferisce gli schemi, le tabelle e i dati dal database di origine. Hai specificato questa cartella come /integration/tutorial quando hai creato il profilo di connessione di destinazione per Cloud Storage.

4. Verifica che siano visualizzate cartelle che rappresentano le tabelle del database di origine.

5. Fai clic su una delle cartelle della tabella e poi su ogni sottocartella finché non visualizzi i dati associati alla tabella.

   La prima cartella è [schema]_[table], seguita da cartelle che rappresentano l'anno, il mese, il giorno, l'ora e il minuto in cui Datastream ha trasferito i dati dal database di origine a un bucket di destinazione in Cloud Storage.

   Viene creata una cartella ogni minuto (quando ci sono nuovi dati da scrivere).

   Viene creato un nuovo file quando le dimensioni del file raggiungono i 250 MB o ogni volta che viene modificato uno schema. Se le tabelle sono partizionate, vengono creati file per ogni partizione.

Creare un job Dataflow

In questa sezione, crei un job in Dataflow. Dopo che Datastream ha inviato le modifiche dei dati da un database MySQL di origine al bucket Cloud Storage, Pub/Sub invia notifiche a Dataflow relative ai nuovi file contenenti le modifiche. Il job Dataflow elabora i file e trasferisce le modifiche in BigQuery.

1. Nella Google Cloud console, vai alla pagina Job per Dataflow.

   Vai alla pagina Job

2. Fai clic su Crea job da modello.

3. Nel campo Nome job della pagina Crea job da modello, inserisci un nome per il job Dataflow che stai creando. Per questo tutorial, inserisci my-dataflow-integration-job nel campo.

4. Nel menu Endpoint a livello di regione, seleziona la regione in cui vuoi archiviare il job. Si tratta della stessa regione selezionata per il profilo di connessione di origine, il profilo di connessione di destinazione e lo stream che hai creato.

5. Nel menu Modello Dataflow, seleziona il modello che utilizzi per creare il job. Per questo tutorial, seleziona Datastream to BigQuery.

   Dopo aver effettuato questa selezione, vengono visualizzati altri campi relativi a questo modello.

   Il modello Datastream to BigQuery è una pipeline in modalità flusso che legge i dati di Datastream e li replica in BigQuery. Il modello legge i dati da Cloud Storage utilizzando le notifiche Pub/Sub e li replica in una tabella di staging BigQuery partizionata in base al tempo. Dopo la replica, il modello esegue un Merge in BigQuery per eseguire l'upsert di tutte le modifiche di Change Data Capture (CDC) in una replica della tabella di origine.

   Per ridurre al minimo il costo associato a operazioni Merge frequenti, ti consigliamo di iniziare con una frequenza iniziale di una volta ogni 6-12 ore. Una volta completati tutti i backfill e la replica dei dati, riduci questo valore alla frequenza che preferisci.

   Per saperne di più sul modello Datastream to BigQuery, consulta Datastream to BigQuery (Stream).

6. Nel campo Posizione del file per l'output del file Datastream in Cloud Storage, inserisci il nome del bucket Cloud Storage utilizzando il seguente formato: gs://bucket-name.

7. Nel campo Abbonamento Pub/Sub utilizzato in un criterio di notifica Cloud Storage, inserisci il percorso contenente il nome dell'abbonamento Pub/Sub. Per questo tutorial, inserisci projects/project-name/subscriptions/my_integration_notifs_sub.

   project-name è un segnaposto per il nome del tuo Google Cloud progetto. Inoltre, hai creato la sottoscrizione my_integration_notifs_sub nella sezione Attivare le notifiche Pub/Sub per il bucket Cloud Storage di questo tutorial.

8. Nel campo Formato file di output di Datastream (avro/json), inserisci avro perché, per questo tutorial, Avro è il formato dei file che Datastream scrive in Cloud Storage.

9. Nel campo Nome o modello per il set di dati contenente le tabelle di staging, inserisci My_integration_dataset_log perché Dataflow utilizza questo set di dati per eseguire lo staging delle modifiche ai dati che riceve da Datastream.

10. Nel campo Modello per il set di dati contenente le tabelle di replica, inserisci My_integration_dataset_final perché questo è il set di dati in cui le modifiche messe in scena nel set di dati My_integration_dataset_log vengono unite per creare una replica uno a uno delle tabelle nel database di origine.

    Hai creato i set di dati My_integration_dataset_log e My_integration_dataset_final nella sezione Creare set di dati in BigQuery di questo tutorial.

11. Nel campo Directory coda messaggi non recapitati, inserisci il percorso contenente il nome del bucket Cloud Storage e una cartella per una coda messaggi non recapitati. Assicurati di non utilizzare un percorso nella cartella principale e che sia diverso da quello in cui Datastream scrive i dati. Eventuali modifiche ai dati che Dataflow non riesce a trasferire in BigQuery vengono memorizzate nella coda. Puoi correggere i contenuti nella coda in modo che Dataflow possa elaborarli di nuovo.

    Per questo tutorial, inserisci gs://bucket-name/dlq nel campo Directory della coda delle email non recapitate (dove bucket-name è il nome del bucket e dlq è la cartella per la coda delle email non recapitate).

12. Fai clic su Esegui job.

L'esecuzione del job Dataflow potrebbe richiedere diversi minuti. Le risorse in background devono essere eseguite. Inoltre, il job deve elaborare i file contenenti le modifiche ai dati che riceve da Cloud Storage prima di poter trasferire queste modifiche in BigQuery.

Verificare l'integrazione

Nella sezione Verificare lo stream di questo tutorial, hai verificato che Datastream ha trasferito i dati da tutte le tabelle di un database MySQL di origine alla cartella /integration/tutorial del bucket di destinazione Cloud Storage.

In questa sezione, verifichi che Dataflow elabori i file contenenti le modifiche associate a questi dati e le trasferisca in BigQuery. Di conseguenza, hai un'integrazione end-to-end tra Datastream e BigQuery.

1. Nella Google Cloud console, vai alla pagina Area di lavoro SQL per BigQuery.

   Vai alla pagina Spazio di lavoro SQL

2. Nel riquadro Explorer, espandi il nodo accanto al nome del Google Cloud progetto.

3. Espandi i nodi accanto ai set di dati My_integration_dataset_log e My_integration_dataset_final.

4. Verifica che ogni set di dati ora contenga dati. Ciò conferma che Dataflow ha elaborato i file contenenti le modifiche associate ai dati che Datastream ha trasmesso in streaming in Cloud Storage e le ha trasferite in BigQuery.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, utilizza la console Google Cloud per eseguire le seguenti operazioni:

• Elimina il progetto, lo stream Datastream e i profili di connessione Datastream.
• Interrompi il job Dataflow.
• Elimina i set di dati BigQuery, l'argomento e l'abbonamento Pub/Sub e il bucket Cloud Storage.

Se elimini le risorse che hai creato su Datastream, Dataflow, BigQuery, Pub/Sub e Cloud Storage, impedisci che occupino la quota e non ti verranno fatturate in futuro.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per questo tutorial.

L'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per questo tutorial, quando lo elimini vengono eliminati anche tutti gli altri lavori che hai svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio l'URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più tutorial e guide rapide, il riuso dei progetti può aiutarti a non superare i limiti di quota.

1. Nella Google Cloud console, vai alla pagina Gestisci risorse.

   Vai alla pagina Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.

3. Per eliminare il progetto, nella finestra di dialogo digita l'ID progetto e fai clic su Chiudi.

Elimina lo stream

1. Nella Google Cloud console, vai alla pagina Stream di Datastream.

   Vai alla pagina Stream

2. Fai clic sullo stream che vuoi eliminare. Per questo tutorial, si tratta di Il mio stream.

3. Fai clic su Metti in pausa.

4. Nella finestra di dialogo, fai clic su Metti in pausa.

5. Nel riquadro Stato stream della pagina Dettagli stream, verifica che lo stato dello stream sia Paused.

   Metti in pausa lo stream prima di eliminarlo per assicurarti che tutti i dati in transito vengano trasferiti dal database di origine a quello di destinazione.

6. Fai clic su Elimina.

7. Nella finestra di dialogo, inserisci Delete nel campo di testo e fai clic su Elimina.

Eliminare i profili di connessione

1. Nella Google Cloud console, vai alla pagina Profili di connessione per Datastream.

   Vai alla pagina Profili di connessione

2. Seleziona la casella di controllo relativa a ciascun profilo di connessione da eliminare: Il mio profilo di connessione di origine e Il mio profilo di connessione di destinazione.

3. Fai clic su Elimina.

4. Nella finestra di dialogo, fai clic su Elimina.

Arresta il job Dataflow

Non puoi eliminare un job in Dataflow. Tuttavia, puoi interrompere un job in modo che non elabori più i file contenenti le modifiche ai dati che vengono trasmesse in streaming nel bucket Cloud Storage o trasferisca le modifiche ai dati in BigQuery.

1. Nella Google Cloud console, vai alla pagina Job per Dataflow.

   Vai alla pagina Job

2. Fai clic sul job che vuoi interrompere. Per questo tutorial, è my-dataflow-integration-job.

3. Fai clic su Arresta.

4. Nella finestra di dialogo Interrompi job, seleziona l'opzione Svuotamento e poi fai clic su Interrompi job.

   Dataflow completa l'elaborazione di eventuali dati rimanenti in buffer in modo che tutti i dati in transito vengano trasferiti in BigQuery prima dell'interruzione del job.

Elimina i set di dati BigQuery

1. Nella Google Cloud console, vai alla pagina Area di lavoro SQL per BigQuery.

   Vai alla pagina Spazio di lavoro SQL

2. Nel riquadro Explorer, espandi il nodo accanto al Google Cloud nome del progetto.

3. Fai clic sul pulsante Visualizza azioni a destra di uno dei set di dati che hai creato in Creare set di dati in BigQuery. Questo pulsante ha la forma di tre puntini verticali.

   Per questo tutorial, fai clic sul pulsante Visualizza azioni a destra di My_integration_dataset_log.

4. Seleziona Elimina dal menu a discesa visualizzato.

5. Nella finestra di dialogo Vuoi eliminare il set di dati?, inserisci delete nel campo di testo e fai clic su Elimina.

6. Ripeti i passaggi di questa procedura per eliminare il secondo set di dati che hai creato: My_integration_dataset_final.

Elimina l'argomento e la sottoscrizione Pub/Sub

1. Nella Google Cloud console, vai alla pagina Abbonamenti per Pub/Sub.

   Vai alla pagina Abbonamenti

2. Fai clic sulla casella di controllo accanto all'abbonamento che vuoi eliminare. Per questo tutorial, fai clic sulla casella di controllo accanto alla sottoscrizione my_integration_notifs_sub.

3. Fai clic su Elimina.

4. Nella finestra di dialogo Elimina abbonamento, fai clic su Elimina.

5. Nella Google Cloud console, vai alla pagina Argomenti per Pub/Sub.

   Vai alla pagina Argomenti

6. Fai clic sulla casella di controllo accanto all'argomento my_integration_notifs.

7. Fai clic su Elimina.

8. Nella finestra di dialogo Elimina argomento, inserisci delete nel campo di testo e fai clic su Elimina.

Elimina il bucket Cloud Storage

1. Nella Google Cloud console, vai alla pagina Browser per Cloud Storage.

   Vai alla pagina Browser

2. Seleziona la casella di controllo accanto al tuo bucket.

3. Fai clic su Elimina.

4. Nella finestra di dialogo, inserisci Delete nel campo di testo e fai clic su Elimina.

Passaggi successivi

• Scopri di più su Datastream.
• Utilizza l'API Streaming precedente per eseguire funzionalità avanzate con i flussi di dati in BigQuery.
• Prova le altre Google Cloud funzionalità. Dai un'occhiata ai nostri tutorial.