Crea un flusso

Panoramica

In questa sezione imparerai a creare uno stream. Datastream utilizza questo flusso per trasferire i dati da un database Oracle, MySQL, SQL Server o PostgreSQL di origine a BigQuery o Cloud Storage.

La creazione di uno stream include:

• Definizione delle impostazioni dello stream.
• Selezionare il profilo di connessione che hai creato per il database Oracle, MySQL, SQL Server o PostgreSQL di origine (il profilo di connessione di origine) oppure creare un profilo di connessione di origine, se non ne hai creato uno.
• Configura le informazioni sul database di origine per lo stream specificando le tabelle e gli schemi nel database di origine che Datastream:
  • Può effettuare il trasferimento nella destinazione.
  • Non può raggiungere la destinazione.

• Determina se Datastream eseguirà il backfill dei dati storici, oltre a trasmettere le modifiche in corso nella destinazione o solo le modifiche ai dati. Quando attivi il backfill storico, puoi specificare facoltativamente gli schemi e le tabelle nel database di origine di cui Datastream non deve eseguire il backfill nella destinazione.

• Seleziona il profilo di connessione che hai creato per BigQuery o Cloud Storage (il profilo di connessione di destinazione) oppure crea un profilo di connessione di destinazione se non ne hai ancora creato uno.

• Configurazione delle informazioni sulla destinazione dello stream. Queste informazioni comprendono:

  • Per BigQuery:
    • I set di dati in cui Datastream replicherà gli schemi, le tabelle e i dati di un database di origine.
  • Per Cloud Storage:
    • La cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database di origine.

• Convalida del flusso per garantirne l'esecuzione. La convalida di uno stream verifica:

  • Indica se l'origine è configurata correttamente per consentire a Datastream di trasmettere dati dal flusso.

  • Indica se lo stream può connettersi sia all'origine che alla destinazione.

  • La configurazione end-to-end dello stream.

Datastream è dotato di una procedura guidata per aiutarti a creare uno stream. Questa procedura guidata è composta da sei riquadri: Inizia, Definisci e test source, Configura origine, Definisci destinazione, Configura destinazione e Rivedi e creare. Le informazioni su come compilare ogni riquadro sono fornite nelle varie sezioni di questa pagina.

Definisci le impostazioni per lo stream

1. Vai alla pagina Stream nella console Google Cloud.

   Vai alla pagina Stream

2. Fai clic su CREA STREAM.

3. Usa la seguente tabella per compilare i campi della sezione Definisci i dettagli dello stream della pagina Crea stream:

   Campo	Descrizione
   Nome flusso	Inserisci il nome visualizzato dello stream.
   ID stream	Datastream compila questo campo automaticamente in base al nome dello stream che inserisci. Puoi mantenere l'ID generato automaticamente o modificarlo.
   Regione	Seleziona la regione in cui è archiviato lo stream. I flussi, come tutte le risorse, vengono salvati in una regione. La selezione della regione non influisce sulla connessione del flusso al database di origine o alla destinazione, ma può influire sulla disponibilità se la regione presenta tempi di inattività.
   Tipo di origine	Seleziona il tipo di profilo specificato durante la creazione di un profilo di connessione per un database Oracle, MySQL, SQL Server o PostgreSQL di origine. In alternativa, se non hai creato un profilo di connessione per il database di origine, puoi crearne uno ora.
   Tipo di destinazione	Seleziona il tipo di profilo che hai specificato al momento della creazione di un profilo di connessione per una destinazione BigQuery o Cloud Storage. Se invece non hai creato un profilo di connessione per la destinazione, puoi crearne uno ora.
   Crittografia	Per impostazione predefinita, i dati sono criptati con una chiave gestita da Google Cloud. Se vuoi gestire la tua crittografia, puoi utilizzare una chiave di crittografia gestita dal cliente (CMEK): Seleziona la casella di controllo Chiave Cloud KMS. Nel menu a discesa Tipo di chiave, seleziona Cloud KMS e poi la chiave CMEK. Se non vedi la chiave, fai clic su INSERISCI NOME RISORSA CHIAVE per fornire il nome della risorsa della chiave che vuoi utilizzare. Ad esempio, puoi inserire projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key nel campo Nome risorsa chiave e quindi fare clic su SALVA. Durante la creazione del flusso, Datastream verificherà che esista la CMEK e che abbia le autorizzazioni per utilizzare la chiave. Per ulteriori informazioni sulla creazione di una chiave CMEK o sull'assegnazione delle autorizzazioni Datastream per la chiave, consulta Utilizzare le chiavi di crittografia gestite dal cliente (CMEK).

4. Facoltativamente, utilizza le etichette per organizzare le risorse Datastream.

   1. Per creare un'etichetta, fai clic su AGGIUNGI ETIQUETTA e inserisci la coppia chiave-valore per l'etichetta.
   2. Per rimuovere l'etichetta, fai clic sull'icona della pattumiera a destra della riga che la contiene.

5. Se vuoi, aggiungi criteri di avviso per il tuo stream. I criteri di avviso definiscono quando e come ricevere notifiche sugli errori del flusso.

   1. Per creare un criterio di avviso, fai clic su Aggiungi criterio di avviso.
   2. In Cloud Monitoring viene visualizzata la pagina Crea criterio di avviso. In questa pagina definisci il criterio di avviso in caso di errore dello stream.

   Per ulteriori informazioni sui criteri di avviso, consulta Gestire i criteri di avviso basati su metriche.

6. Esamina i prerequisiti richiesti che vengono generati automaticamente per riflettere la modalità di preparazione dell'ambiente per uno stream. Questi prerequisiti possono includere la configurazione del database di origine e il modo in cui connetterlo alla destinazione. È preferibile completare i prerequisiti in questo passaggio, ma puoi completarli in qualsiasi momento prima di testare lo stream o avviarlo. Per ulteriori informazioni su questi prerequisiti, consulta Origini.

7. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione della pagina Crea stream per il tipo di database di origine.

   Nota: se il tipo di database di origine è Oracle, il nome del riquadro è Definisci profilo di connessione Oracle. Se selezioni un altro database di origine, il nome del database viene visualizzato nel nome del riquadro.

Specifica le informazioni sul profilo di connessione di origine

1. Se hai creato un profilo di connessione di origine per Oracle, MySQL, SQL Server o PostgreSQL, selezionalo dall'elenco dei profili di connessione.

   Se non hai creato un profilo di connessione di origine, creane uno facendo clic su CREA PROFILO DI CONNESSIONE nella parte inferiore dell'elenco a discesa, quindi esegui gli stessi passaggi descritti in Crea profili di connessione.

2. Fai clic su ESEGUI TEST per verificare che il database di origine e Datastream possano comunicare tra loro.

   Se il test non va a buon fine, viene visualizzato il problema associato al profilo di connessione. Per la procedura di risoluzione dei problemi, consulta la pagina Diagnostica i problemi. Apporta le modifiche necessarie per correggere il problema, quindi riprova.

3. Fai clic su CONTINUA. Viene visualizzato il riquadro Configura origine stream nella pagina Crea stream.

Configura le informazioni sul database di origine per lo stream

Configura il database di origine PostgreSQL

Se hai selezionato PostgreSQL come database di origine, devi definirne le proprietà di replica.

1. Nella sezione Proprietà di replica, specifica le seguenti proprietà:
   1. Nel campo Nome slot di replica, inserisci il nome dello slot creato appositamente per questo stream. Il server di database utilizza questo slot per inviare eventi a Datastream.
   2. Nel campo Nome pubblicazione, inserisci il nome della pubblicazione che hai creato nel database. Una pubblicazione è un gruppo di tutte le tabelle di cui vuoi replicare le modifiche utilizzando questo stream.
2. Segui i passaggi descritti nella sezione Configurare i database di origine.

Configura il database di origine SQL Server

Se hai selezionato SQL Server come database di origine, devi definire il metodo CDC.

1. Nel menu a discesa Metodo CDC, seleziona il metodo CDC corrispondente alla configurazione del database di origine:

   • Log delle transazioni: seleziona questo metodo per elaborare le modifiche direttamente dai log del database. Questo metodo fornisce le migliori prestazioni ed è più efficiente, ma richiede passaggi di configurazione aggiuntivi.
   • Modifica tabelle: seleziona questo metodo per elaborare le modifiche delle tabelle delle modifiche dedicate. Questo metodo è più facile da configurare e ha meno limitazioni, ma supporta una velocità effettiva inferiore e genera un carico maggiore sul database rispetto al metodo dei log delle transazioni.

   Per ulteriori informazioni sulla configurazione del database SQL Server di origine, consulta Configurare un database SQL Server di origine.

2. Segui i passaggi descritti nella sezione Configurare i database di origine.

Configura database di origine

1. Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire nella destinazione.

   Il menu non carica l'elenco di tabelle e schemi se il database ha più di 5000 oggetti.
   1. Se vuoi che Datastream trasferisca tutte le tabelle e tutti gli schemi, seleziona Tutte le tabelle di tutti gli schemi.

   2. Se vuoi che Datastream trasferisca solo tabelle e schemi specifici, seleziona Schemi e tabelle specifici, quindi seleziona le caselle di controllo relative agli schemi e alle tabelle da estrarre da Datastream.

      Per ogni schema selezionato, è presente una casella di controllo Tabelle future.

      • Se questa casella di controllo è selezionata, tutte le tabelle per lo schema che aggiungi all'origine dopo la creazione del flusso verranno trasferite automaticamente nella destinazione.
      • Se questa casella di controllo non è selezionata, dopo la creazione dello stream, Datastream non trasferirà nuove tabelle per lo schema dall'origine alla destinazione.

      Per impostazione predefinita, la casella di controllo Tabelle future è selezionata per ogni schema.

      Per ogni tabella schema selezionata, è presente un pulsante SELEZIONA COLONNE. Fai clic su questo pulsante per filtrare tutte le colonne della tabella che vuoi escludere dal flusso di dati dall'origine alla destinazione. Le colonne che vengono cancellate vengono escluse dallo stream.

      Per impostazione predefinita, le caselle di controllo per tutte le colonne della tabella sono selezionate.

   3. Se vuoi fornire una definizione testuale delle tabelle e degli schemi che vuoi che Datastream trasferisca, seleziona Personalizzato e, nel campo Criteri di corrispondenza degli oggetti, inserisci gli schemi e le tabelle che vuoi che Datastream estragga.

      Se il database contiene un numero elevato di tabelle e schemi, ti consigliamo di utilizzare l'opzione Personalizzato perché alcuni schemi e tabelle potrebbero non essere inclusi nell'elenco degli oggetti di cui eseguire il pull.

      Inserisci gli schemi e le tabelle come elenco separato da virgole, utilizzando il formato [schema].[table], dove sia lo schema sia la tabella possono essere un carattere jolly (asterisco). Non puoi utilizzare caratteri jolly parziali.

      Inoltre, se il tuo database di origine è Oracle e, a meno che non sia specificato esplicitamente, gli schemi e le tabelle predefiniti di Oracle non verranno importati nella destinazione.

2. Se vuoi, espandi il nodo Seleziona gli oggetti da escludere. Nel campo Oggetti da escludere, inserisci le tabelle e gli schemi del database di origine di cui vuoi limitare il pull di Datastream. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia nell'elenco di inclusione sia in quello di esclusione, viene escluso dallo stream.

   Definisci questi schemi e queste tabelle con la stessa logica separata da virgole che utilizzi se specifichi gli schemi e le tabelle che vuoi che Datastream estragga.
3. Se vuoi, espandi il nodo Scegli la modalità di backfill per i dati storici e poi effettua una delle seguenti selezioni:

   1. Seleziona l'opzione Automatico per trasmettere tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione.

      Nel campo Oggetti esclusi dal backfill automatico, inserisci le tabelle e gli schemi nel database di origine per i quali vuoi limitare il backfill di Datastream nella destinazione.

   2. Seleziona l'opzione Manuale per trasmettere in streaming solo le modifiche ai dati nella destinazione.

4. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione della pagina Crea stream per il tipo di destinazione.

   Nota: se il tipo di destinazione è BigQuery, il nome del riquadro è Definisci il profilo di connessione BigQuery. Se il tipo di destinazione è Cloud Storage, il nome del riquadro è Definisci profilo di connessione Cloud Storage.

Seleziona un profilo di connessione di destinazione

1. Se hai creato un profilo di connessione di destinazione, selezionalo dall'elenco dei profili di connessione.

   Se non hai creato un profilo di connessione di destinazione, creane uno facendo clic su CREA PROFILO DI CONNESSIONE nella parte inferiore dell'elenco a discesa, quindi svolgi gli stessi passaggi descritti in Crea profili di connessione.

2. Fai clic su CONTINUA. Viene visualizzato il riquadro Configura destinazione stream nella pagina Crea stream.

Configura le informazioni sulla destinazione dello stream

Destinazione BigQuery

1. In Configura la connessione da Datastream a BigQuery, specifica come Datastream deve trasmettere flussi di dati in un set di dati BigQuery. Seleziona una delle seguenti opzioni:

   • Set di dati per ogni schema: Datastream crea un set di dati BigQuery per ogni schema di origine, in base al nome dello schema.

     Se selezioni questa opzione, per ogni schema nel database di origine, Datastream crea un set di dati nel progetto che contiene lo stream.

     Inoltre, quando selezioni l'opzione Set di dati per ogni schema:

     1. Nel campo Località, inserisci la regione in cui vuoi creare il nuovo set di dati.
     2. (Facoltativo) Nel campo Prefisso, definisci un prefisso per il set di dati creato dallo stream. La stringa specificata viene aggiunta al nome dello schema di origine. Ad esempio, se lo schema si chiama <mySchema> e definisci il prefisso del set di dati come <myPrefix>, Datastream crea un set di dati denominato <myPrefix><mySchema>.
     3. Specifica la modalità di crittografia dei dati in BigQuery selezionando una chiave di crittografia gestita da Google o dal cliente.

   • Un unico set di dati per tutti gli schemi: Datastream crea tutte le tabelle all'interno del set di dati BigQuery esistente specificato. Ogni tabella creata da Datastream ha un nome utilizzando una combinazione del nome dello schema di origine e del nome della tabella, separati da un trattino basso (ad esempio, <mySchemaName>_<myTableName>).

2. Specifica la Modalità di scrittura dello stream. Seleziona la modalità di scrittura per definire il modo in cui i dati vengono scritti ed elaborati in BigQuery:

   • Unisci: seleziona questa opzione se vuoi che i dati vengano sincronizzati con l'origine.
   • Solo aggiunta: seleziona questa opzione se vuoi conservare tutti i dati storici per gli eventi di modifica.

3. Specifica il limite di inattività dei dati. Disponibile solo quando nel passaggio precedente è selezionata la modalità Unisci. Seleziona un limite per bilanciare le prestazioni delle query BigQuery e il relativo costo rispetto all'aggiornamento dei dati. BigQuery applica le modifiche in background su base continuativa o al momento dell'esecuzione delle query, a seconda del limite di inattività. Una minore inattività (dati più aggiornati) potrebbe aumentare i costi di elaborazione di BigQuery.

   Se selezioni 0 minuti, BigQuery restituisce sempre i risultati della query in base ai dati più recenti. Questo comporta il costo più elevato della query.

4. Fai clic su CONTINUA. Viene visualizzato il riquadro Rivedi i dettagli e crea della pagina Crea stream.

Destinazione di Cloud Storage

1. Facoltativamente, nel campo Prefisso percorso flusso, inserisci la cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database di origine.

   Ad esempio, se vuoi che Datastream trasferisca i dati dal database di origine alla cartella /root/example nel bucket di destinazione, inserisci /root/example nel campo Prefisso del percorso dello stream.

2. Nel campo Formato di output, scegli il formato dei file scritti in Cloud Storage.

   Datastream supporta due formati di output: Avro e JSON.

3. Facoltativo. Se selezioni il formato JSON, vengono visualizzate due caselle di controllo:

   1. Includi un file dello schema Unified Types nel percorso del file: se selezioni questa casella di controllo, Datastream scrive due file in Cloud Storage: un file di dati JSON e un file dello schema Avro. Il file di schema ha lo stesso nome del file di dati, con estensione .schema. Se non selezioni questa casella di controllo, Datastream scrive solo il file di dati JSON in Cloud Storage. Per impostazione predefinita, questa casella di controllo non è selezionata.
   2. Attiva la compressione gzip: se selezioni questa casella di controllo, Datastream utilizza l'utilità gzip per comprimere i file che scrive in Cloud Storage. Se non selezioni questa casella di controllo, Datastream scrive i file in Cloud Storage senza comprimerli. Questa casella di controllo è selezionata per impostazione predefinita.

4. Fai clic su CONTINUA. Viene visualizzato il riquadro Rivedi i dettagli e crea della pagina Crea stream.

Crea lo stream

1. Verifica i dettagli dello stream, nonché i profili di connessione di origine e destinazione che lo stream utilizzerà per trasferire i dati da un database di origine a una destinazione.

2. Fai clic su ESEGUI CONVALIDA per convalidare il flusso. Convalidando un flusso, Datastream controlla che l'origine sia configurata correttamente, verifica che il flusso possa connettersi sia all'origine che alla destinazione e verifica la configurazione end-to-end del flusso.

   1. Se il database di origine è Oracle, Datastream esegue i seguenti controlli:

      Controllo	Descrizione
      Validità dell'elenco degli oggetti	Datastream verifica che l'elenco di esclusione non includa l'elenco di inclusione.
      Connettività del tunnel SSH di forwarding	Datastream verifica di essere in grado di connettersi a un bastion host attraverso un tunnel SSH di forwarding.
      Connettività al database Oracle	Datastream verifica di potersi connettere al database Oracle di origine.
      Autorizzazioni utente Oracle	Datastream verifica che l'utente utilizzato per connettersi al database di origine disponga di tutte le autorizzazioni necessarie per recuperare schemi, tabelle e dati dal database in modo che possa trasmettere queste informazioni alla destinazione.
      Configurazione della modalità di logging	Datastream verifica che la modalità di logging per il database Oracle sia impostata su ARCHIVELOG.
      Configurazione del logging supplementare	Datastream verifica che il logging supplementare sia attivato per le tabelle di database trasmesse in flusso dall'origine alla destinazione.
      Configurazione dei file di log dell'archivio	Datastream verifica che il logging dell'archivio sia configurato nell'origine e che siano presenti i file di log dell'archivio.
      Autorizzazioni Cloud Storage (per le destinazioni Cloud Storage)	Datastream verifica di disporre delle autorizzazioni necessarie per scrivere nel bucket di destinazione in Cloud Storage.

   2. Se il tuo database di origine è MySQL, Datastream esegue i seguenti controlli:

      Controllo	Descrizione
      Validità dell'elenco degli oggetti	Datastream verifica che l'elenco di esclusione non includa l'elenco di inclusione.
      Connettività del tunnel SSH di forwarding	Datastream verifica di essere in grado di connettersi a un bastion host attraverso un tunnel SSH di forwarding.
      Connettività con il database MySQL	Datastream verifica di potersi connettere al database MySQL di origine.
      Il logging binario è attivato	Datastream verifica che i file di log binari siano configurati correttamente e che siano presenti file di log.
      Configurazione del formato del log binario	Datastream verifica che il formato del log binario del database MySQL sia impostato su ROW.
      Autorizzazioni di replica	Datastream verifica di avere le autorizzazioni per replicare un database MySQL.
      Autorizzazioni Cloud Storage (per le destinazioni Cloud Storage)	Datastream verifica di disporre delle autorizzazioni necessarie per scrivere nel bucket di destinazione in Cloud Storage.

   3. Se il database di origine è PostgreSQL, Datastream esegue i seguenti controlli:

      Controllo	Descrizione
      Connettività al database PostgreSQL	Datastream verifica che sia in grado di connettersi al database PostgreSQL di origine.
      Decodifica logica abilitata	Datastream verifica che il parametro wal_level del database PostgreSQL sia impostato su logical.
      Configurazione slot di replica	Datastream verifica se lo slot di replica PostgreSQL esiste e è attivo, se Datastream dispone delle autorizzazioni necessarie per accedervi e se è configurato correttamente.
      Configurazione della pubblicazione	Datastream verifica che la pubblicazione esista e che le tabelle da replicare per lo stream siano incluse nella pubblicazione.
      Autorizzazioni di backfill	Datastream verifica l'esistenza delle tabelle necessarie per il backfill dei dati storici e di disporre delle autorizzazioni necessarie per leggerle.

   4. Se il database di origine è SQL Server, Datastream esegue i seguenti controlli:

      Controllo	Descrizione
      Versione SQL Server	Datastream verifica che la versione del database SQL Server di origine sia supportata. Per informazioni sulle versioni supportate, vedi Versioni.
      Autorizzazioni utente SQL Server	Datastream verifica che l'utente disponga delle autorizzazioni necessarie per accedere al database SQL Server di origine.
      La CDC di SQL Server è abilitata	Datastream verifica se la CDC è abilitata per il database e tutte le tabelle incluse nel flusso.
      Convalide dei database SQL Server	Datastream controlla se il database di origine è configurato correttamente, se tutti i requisiti di replica sono soddisfatti e se nelle colonne non sono presenti tipi di dati non supportati.
      Autorizzazioni per Cloud Storage o BigQuery	Datastream verifica che l'utente disponga delle autorizzazioni necessarie per scrivere nella destinazione.

   Se un controllo di convalida ha esito positivo, viene visualizzata un'icona di segno di spunta a sinistra del controllo di convalida.

   Se un controllo di convalida non viene superato, a sinistra del controllo viene visualizzata un'icona con punto esclamativo e sotto il controllo viene visualizzato il pulsante VISUALIZZA DETTAGLI ERRORE. Fai clic sul pulsante per visualizzare una finestra di dialogo che spiega il motivo per cui il controllo non è stato superato e indica cosa fare per risolvere il problema. Dopo aver apportato le correzioni del caso, fai clic su CONVALIDA.

   Per ulteriori informazioni sulla risoluzione dei problemi relativi ai controlli di convalida che non vengono superati, consulta Diagnosticare i problemi.

3. Una volta superati tutti i controlli di convalida, fai clic su CREA E AVVIA per creare lo stream avviarlo immediatamente oppure CREA per creare lo stream senza avviandolo immediatamente.

   Se non avvii lo stream adesso, puoi avviarlo dalla Pagina Stream facendo clic su AVVIA.

   Nota: la procedura di creazione dello stream potrebbe comportare un aumento del carico sul database di origine. Per rimandare il carico, crea il avvia il live streaming senza avviarlo e torna per avviarlo per un determinato carico di lavoro.

Dopo aver creato uno stream, puoi visualizzare informazioni generali e dettagliate al riguardo.

Passaggi successivi

• Per scoprire di più sugli stream, consulta Ciclo di vita degli stream.
• Per informazioni su come eseguire uno stream, consulta Eseguire uno stream.
• Per informazioni su come modificare gli stream, consulta Modificare uno stream.
• Per informazioni su come recuperare un flusso, consulta Recuperare uno stream.