Crea uno stream

Panoramica

In questa sezione imparerai a creare uno stream. Datastream utilizza questo flusso per trasferire i dati da un database Oracle, MySQL, SQL Server (Anteprima) o PostgreSQL di origine in BigQuery o Cloud Storage.

La creazione di uno stream include:

• Definizione delle impostazioni per lo stream.
• Seleziona il profilo di connessione che hai creato per il database Oracle, MySQL, SQL Server (Anteprima) o PostgreSQL di origine (profilo di connessione di origine) oppure crea un profilo di connessione di origine, se non ne hai creato uno.
• Configura le informazioni sul database di origine per il flusso specificando le tabelle e gli schemi nel database di origine che Datastream:
  • Può trasferire alla destinazione.
  • Il trasferimento alla destinazione è limitato.

• Stabilire se Datastream eseguirà il backfill dei dati storici, trasmetterà il flusso delle modifiche in corso nella destinazione o trasmetterà in streaming solo le modifiche ai dati. Quando abiliti il backfill storico, puoi facoltativamente specificare schemi e tabelle nel database di origine che Datastream non deve eseguire il backfill nella destinazione.

• Selezionare il profilo di connessione che hai creato per BigQuery o Cloud Storage (il profilo di connessione di destinazione) oppure creare un profilo di connessione di destinazione, se non ne hai creato uno.

• È in corso la configurazione delle informazioni sulla destinazione per il flusso. Queste informazioni comprendono:

  • Per BigQuery:
    • I set di dati in cui Datastream replicarà schemi, tabelle e dati da un database di origine.
  • Per Cloud Storage:
    • La cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database di origine.

• Convalida del flusso per garantirne la corretta esecuzione. Convalida dei controlli dello stream:

  • Indica se l'origine è configurata correttamente per consentire a Datastream di trasmettere dati dall'origine.

  • Indica se il flusso può connettersi sia all'origine sia alla destinazione.

  • La configurazione end-to-end del flusso.

Datastream include una procedura guidata per aiutarti a creare un flusso. Questa procedura guidata è composta da sei riquadri: Inizia, Definisci e testa origine, Configura origine, Definisci destinazione, Configura destinazione e Rivedi e crea. Le informazioni su come compilare ogni riquadro sono fornite nelle varie sezioni di questa pagina.

Definisci le impostazioni per lo stream

1. Vai alla pagina Stream nella Google Cloud Console.

   Vai alla pagina Stream

2. Fai clic su CREA STREAM.

3. Utilizza la seguente tabella per compilare i campi della sezione Definisci i dettagli dello stream della pagina Crea stream:

   Campo	Descrizione
   Nome flusso	Inserisci il nome visualizzato dello stream.
   ID stream	Datastream compila automaticamente questo campo in base al nome del flusso inserito. Puoi mantenere l'ID generato automaticamente o modificarlo.
   Regione	Seleziona la regione in cui è archiviato lo stream. I flussi, come tutte le risorse, vengono salvati in una regione. La selezione della regione non influisce sulla connessione del flusso al database di origine o alla destinazione, ma può influire sulla disponibilità in caso di tempo di inattività della regione.
   Tipo di origine	Seleziona il tipo di profilo specificato al momento della creazione di un profilo di connessione per un database Oracle, MySQL, SQL Server (Anteprima) o PostgreSQL di origine. Oppure, se non hai creato un profilo di connessione per il database di origine, puoi crearne uno ora.
   Tipo di destinazione	Seleziona il tipo di profilo specificato al momento della creazione di un profilo di connessione per una destinazione BigQuery o Cloud Storage. In alternativa, se non hai creato un profilo di connessione per la destinazione, puoi crearne uno ora.
   Crittografia	Per impostazione predefinita, i dati sono criptati con una chiave gestita da Google Cloud. Se vuoi gestire la tua crittografia, puoi utilizzare una chiave di crittografia gestita dal cliente (CMEK): CMEK non è supportata per le origini SQL Server . Seleziona la casella di controllo Use a CMEK (Usa una CMEK). Nel menu a discesa Select a CMEK (Seleziona una CMEK), seleziona la tua CMEK. Se non vedi la chiave, fai clic su INSERISCI NOME RISORSE CHIAVE per specificare il nome risorsa della chiave che vuoi utilizzare. Ad esempio, puoi inserire projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key nel campo Nome risorsa chiave, quindi fare clic su SALVA. Durante la creazione del flusso, Datastream verificherà che la CMEK esista e che Datastream disponga delle autorizzazioni per utilizzare la chiave. Per saperne di più su come creare una CMEK o concedere a Datastream le autorizzazioni per la chiave, vedi Utilizzare chiavi di crittografia gestite dal cliente (CMEK).

4. Facoltativamente, utilizza le etichette per organizzare le risorse Datastream.

   1. Per creare un'etichetta, fai clic su AGGIUNGI ETICHETTA e inserisci la coppia chiave-valore dell'etichetta.
   2. Per rimuovere l'etichetta, fai clic sull'icona del cestino a destra della riga che contiene l'etichetta.

5. Se vuoi, aggiungi criteri di avviso per il tuo stream. I criteri di avviso definiscono quando e come vuoi ricevere notifiche sugli errori di streaming.

   1. Per creare un criterio di avviso, fai clic su Aggiungi criterio di avviso.
   2. In Cloud Monitoring viene visualizzata la pagina Crea criterio di avviso. In questa pagina devi definire il criterio di avviso qualora lo stream non vada a buon fine.

   Per saperne di più sui criteri di avviso, consulta Gestione dei criteri di avviso basati su metriche.

6. Esamina i prerequisiti richiesti generati automaticamente per riflettere il modo in cui l'ambiente deve essere preparato per uno stream. Questi prerequisiti possono includere la modalità di configurazione del database di origine e di connessione alla destinazione. È consigliabile completare questi prerequisiti in questo passaggio, ma puoi farlo in qualsiasi momento prima di testare lo stream o avviarlo. Per saperne di più su questi prerequisiti, consulta Origini.

7. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione della pagina Crea stream per il tipo di database di origine.

   Nota: se il tipo di database di origine è Oracle, il nome del riquadro è Definisci profilo di connessione Oracle. Se selezioni un database di origine diverso, quel nome del database compare nel nome del riquadro.

Specifica le informazioni sul profilo di connessione di origine

1. Se hai creato un profilo di connessione di origine per Oracle, MySQL, SQL Server (Anteprima) o MySQL, selezionalo dall'elenco dei profili di connessione.

   Se non hai creato un profilo di connessione di origine, creane uno facendo clic su CREA PROFILO DI CONNESSIONE in fondo all'elenco a discesa, quindi esegui gli stessi passaggi descritti in Creare profili di connessione.

2. Fai clic su ESEGUI TEST per verificare che il database di origine e Datastream possano comunicare tra loro.

   Se il test non va a buon fine, viene visualizzato il problema associato al profilo di connessione. Per le procedure di risoluzione dei problemi, consulta la pagina Diagnostica i problemi. Apporta le modifiche necessarie per risolvere il problema, quindi ripeti il test.

3. Fai clic su CONTINUA. Viene visualizzato il riquadro Configura l'origine dello stream della pagina Crea stream.

Configura le informazioni sul database di origine per lo stream

Configura il database di origine PostgreSQL

Se hai selezionato PostgreSQL come database di origine, devi definire le relative proprietà di replica.

1. Nella sezione Proprietà di replica, specifica le seguenti proprietà:
   1. Nel campo Nome slot di replica, inserisci il nome dello slot che hai creato appositamente per questo stream. Il server di database utilizza questo slot per inviare eventi a Datastream.
   2. Nel campo Nome pubblicazione, inserisci il nome della pubblicazione creata nel database. Una pubblicazione è un gruppo di tutte le tabelle da cui vuoi replicare le modifiche utilizzando questo flusso.
2. Fai clic su Continua. Segui i passaggi descritti nella sezione Configurare i database di origine di seguito.

Configura i database di origine

1. Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire nella destinazione.

   Il menu non riesce a caricare l'elenco di tabelle e schemi se il database ha più di 5000 oggetti.
   1. Se vuoi che Datastream trasferisca tutte le tabelle e gli schemi, seleziona Tutte le tabelle di tutti gli schemi.

   2. Se vuoi che Datastream trasferisca solo tabelle e schemi specifici, seleziona Schemi e tabelle specifici, quindi seleziona le caselle di controllo relative agli schemi e alle tabelle che vuoi che vengano estratti da Datastream.

      Per ogni schema selezionato, è presente una casella di controllo Tabelle future.

      • Se questa casella di controllo è selezionata, tutte le tabelle dello schema che aggiungi all'origine dopo la creazione del flusso verranno trasferite automaticamente nella destinazione.
      • Se questa casella di controllo non è selezionata, dopo la creazione del flusso Datastream non trasferirà nuove tabelle per lo schema dall'origine alla destinazione.

      Per impostazione predefinita, per ogni schema è selezionata la casella di controllo Tabelle future.

      Per ogni tabella dello schema selezionata è presente un pulsante SELEZIONA COLONNE. Fai clic su questo pulsante per filtrare le colonne della tabella che vuoi escludere dal flusso di dati dall'origine alla destinazione. Le colonne che deselezioni verranno escluse dal flusso.

      Per impostazione predefinita, sono selezionate le caselle di controllo per tutte le colonne della tabella.

   3. Se vuoi fornire una definizione testuale delle tabelle e degli schemi che vuoi trasferire a Datastream, seleziona Personalizzato e poi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli schemi e le tabelle da cui vuoi che Datastream estragga.

      Se il tuo database ha un numero elevato di tabelle e schemi, ti consigliamo di utilizzare l'opzione Personalizzato perché alcuni schemi e tabelle potrebbero non essere inclusi nell'elenco degli oggetti di cui eseguire il pull.

      Inserisci schemi e tabelle come elenco separato da virgole, utilizzando il formato [schema].[table], dove sia lo schema sia la tabella possono essere un carattere jolly (asterisco). Non puoi utilizzare caratteri jolly parziali.

      Inoltre, se il tuo database di origine è Oracle e se non diversamente specificato in modo esplicito, gli schemi e le tabelle predefiniti di Oracle non verranno estratti nella destinazione.

2. Se vuoi, espandi il nodo Seleziona oggetti da escludere. Nel campo Oggetti da escludere, inserisci le tabelle e gli schemi nel database di origine per cui vuoi impedire a Datastream di eseguire il pull. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri degli elenchi di inclusione ed esclusione, viene escluso dal flusso.

   Definisci questi schemi e tabelle con la stessa logica separata da virgole che utilizzi se stai specificando schemi e tabelle che vuoi che Datastream estragga.
3. Se vuoi, espandi il nodo Scegli modalità di backfill per dati storici, quindi seleziona una delle seguenti opzioni:

   1. Seleziona l'opzione Automatico per trasmettere tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione.

      Nel campo Oggetti esclusi dal backfill automatico, inserisci le tabelle e gli schemi del database di origine per cui vuoi impedire a Datastream di eseguire il backfill della destinazione nella destinazione.

   2. Seleziona l'opzione Manuale per trasmettere nella destinazione solo le modifiche ai dati.

4. Fai clic su CONTINUA. Per il tipo di destinazione viene visualizzato il riquadro Definisci il profilo di connessione della pagina Crea stream.

   Nota: se il tipo di destinazione è BigQuery, il nome del riquadro è Definisci profilo di connessione BigQuery. Se il tipo di destinazione è Cloud Storage, come nome del riquadro verrà visualizzato Definisci profilo di connessione Cloud Storage.

Seleziona un profilo di connessione di destinazione

1. Se hai creato un profilo di connessione di destinazione, selezionalo dall'elenco dei profili di connessione.

   Se non hai creato un profilo di connessione di destinazione, creane uno facendo clic su CREA PROFILO DI CONNESSIONE in fondo all'elenco a discesa, poi esegui gli stessi passaggi descritti in Creare profili di connessione.

2. Fai clic su CONTINUA. Viene visualizzato il riquadro Configura destinazione stream della pagina Crea stream.

Configura le informazioni sulla destinazione dello stream

Destinazione BigQuery

1. In Configura la connessione da Datastream a BigQuery, specifica in che modo Datastream deve inserire flussi di dati in un set di dati BigQuery. Seleziona una delle seguenti opzioni:

   • Set di dati per ogni schema: Datastream crea un set di dati BigQuery per ogni schema di origine, in base al suo nome.

     Se selezioni questa opzione, per ogni schema nel database di origine, Datastream crea un set di dati nel progetto che contiene il flusso.

     Inoltre, quando selezioni l'opzione Set di dati per ogni schema:

     1. Nel campo Posizione, inserisci la regione in cui vuoi creare il nuovo set di dati.
     2. (Facoltativo) Nel campo Prefisso, definisci un prefisso per il set di dati creato dal flusso. La stringa specificata viene aggiunta al nome dello schema di origine. Ad esempio, se lo schema è denominato <mySchema> e definisci il prefisso del set di dati come <myPrefix>, Datastream crea un set di dati chiamato <myPrefix><mySchema>.
     3. Specifica in che modo vuoi che i dati siano criptati in BigQuery selezionando una chiave di crittografia gestita da Google o dal cliente.

   • Singolo set di dati per tutti gli schemi: Datastream crea tutte le tabelle all'interno del set di dati BigQuery esistente da te specificato. Ogni tabella creata da Datastream riceve un nome che utilizza una combinazione di nome dello schema di origine e nome della tabella, separati da un trattino basso (ad esempio, <mySchemaName>_<myTableName>).

2. Specifica il limite di inattività dei dati. Seleziona un limite per bilanciare le prestazioni delle query BigQuery e il relativo costo rispetto all'aggiornamento dei dati. BigQuery applica le modifiche in background su base continuativa o al momento dell'esecuzione delle query, secondo il limite di obsolescenza. Una obsolescenza inferiore (dati più aggiornati) potrebbe aumentare i costi di elaborazione di BigQuery.

   Se selezioni 0 minuti, BigQuery restituisce sempre i risultati della query in base ai dati più recenti. Ne consegue il costo più elevato della query.

3. Fai clic su CONTINUA. Viene visualizzato il riquadro Esamina i dettagli dello stream e crea della pagina Crea stream.

Destinazione di Cloud Storage

1. Facoltativamente, nel campo Prefisso percorso del flusso, inserisci la cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database di origine.

   Ad esempio, se vuoi che Datastream trasferisca i dati dal database di origine alla cartella /root/example del bucket di destinazione, inserisci /root/example nel campo Prefisso percorso flusso.

2. Nel campo Formato output, scegli il formato dei file scritti in Cloud Storage.

   Datastream supporta attualmente due formati di output: Avro e JSON.

3. Facoltativo. Se selezioni il formato JSON, vengono visualizzate due caselle di controllo:

   1. Includi un file di schema dei tipi unificati nel percorso file: se selezioni questa casella di controllo, Datastream scrive due file in Cloud Storage: un file di dati JSON e un file di schema Avro. Il file di schema ha lo stesso nome del file di dati, con un'estensione .schema. Se non selezioni questa casella di controllo, Datastream scrive solo il file di dati JSON in Cloud Storage. Per impostazione predefinita, questa casella di controllo non è selezionata.
   2. Attiva la compressione gzip: se selezioni questa casella di controllo, Datastream utilizza l'utilità gzip per comprimere i file che Datastream scrive in Cloud Storage. Se non selezioni questa casella di controllo, Datastream scrive i file in Cloud Storage senza comprimerli. Questa casella di controllo è selezionata per impostazione predefinita.

4. Fai clic su CONTINUA. Viene visualizzato il riquadro Esamina i dettagli dello stream e crea della pagina Crea stream.

Crea lo stream

1. Verifica i dettagli del flusso e i profili di connessione di origine e di destinazione che il flusso utilizzerà per trasferire i dati da un database di origine a una destinazione.

2. Fai clic su ESEGUI VALIDAZIONE per convalidare lo stream. Con la convalida di un flusso, Datastream controlla che l'origine sia configurata correttamente, verifica che il flusso possa connettersi sia all'origine che alla destinazione e verifica la configurazione end-to-end del flusso.

   1. Se il database di origine è Oracle, Datastream esegue i seguenti controlli:

      Controllo	Descrizione
      Validità dell'elenco degli oggetti	Datastream verifica che l'elenco di esclusione non includa l'elenco di inclusione.
      Connettività del tunnel SSH di forwarding	Datastream verifica di poter connettersi a un bastion host tramite un tunnel SSH di forwarding.
      Connettività al database Oracle	Datastream verifica che possa connettersi al database Oracle di origine.
      Autorizzazioni utente Oracle	Datastream verifica che l'utente che utilizza per connettersi al database di origine disponga di tutte le autorizzazioni necessarie per recuperare schemi, tabelle e dati dal database in modo che Datastream possa trasmettere queste informazioni nella destinazione.
      Configurazione della modalità di logging	Datastream verifica che la modalità di logging per il database Oracle sia impostata su ARCHIVELOG.
      Configurazione del logging supplementare	Datastream verifica che il logging supplementare sia attivato per le tabelle di database di cui viene eseguito il flusso dall'origine alla destinazione.
      Configurazione dei file di log dell'archivio	Datastream verifica che il logging dell'archivio sia configurato nell'origine e che siano presenti i file di log di archivio.
      Autorizzazioni Cloud Storage (per le destinazioni di Cloud Storage)	Datastream verifica di disporre delle autorizzazioni necessarie per scrivere nel bucket di destinazione in Cloud Storage.

   2. Se il database di origine è MySQL, Datastream esegue i seguenti controlli:

      Controllo	Descrizione
      Validità dell'elenco degli oggetti	Datastream verifica che l'elenco di esclusione non includa l'elenco di inclusione.
      Connettività del tunnel SSH di forwarding	Datastream verifica di poter connettersi a un bastion host tramite un tunnel SSH di forwarding.
      Connettività con il database MySQL	Datastream verifica che possa connettersi al database MySQL di origine.
      Il logging binario è attivato	Datastream verifica che i file di log binari siano configurati correttamente e che siano presenti file di log.
      Configurazione del formato del log binario	Datastream verifica che il formato del log binario del database MySQL sia impostato su ROW.
      Autorizzazioni di replica	Datastream verifica di disporre delle autorizzazioni per replicare un database MySQL.
      Autorizzazioni Cloud Storage (per le destinazioni di Cloud Storage)	Datastream verifica di disporre delle autorizzazioni necessarie per scrivere nel bucket di destinazione in Cloud Storage.

   3. Se il tuo database di origine è PostgreSQL, Datastream esegue i seguenti controlli:

      Controllo	Descrizione
      Connettività al database PostgreSQL	Datastream verifica che possa connettersi al database PostgreSQL di origine.
      La decodifica logica è attiva	Datastream verifica che il parametro wal_level del database PostgreSQL sia impostato su logical.
      Configurazione slot di replica	Datastream verifica se lo slot di replica PostgreSQL esiste ed è attivo, se Datastream dispone delle autorizzazioni necessarie per accedervi e se è configurato correttamente.
      Configurazione della pubblicazione	Datastream verifica che la pubblicazione esista e che le tabelle da replicare per il flusso siano incluse nella pubblicazione.
      Autorizzazioni backfill	Datastream verifica che le tabelle necessarie per il backfill dei dati storici esistano e che disponga delle autorizzazioni necessarie per leggerle.

   4. Se il tuo database di origine è SQL Server (Anteprima), Datastream esegue i seguenti controlli:

      Controllo	Descrizione
      Versione SQL Server	Datastream verifica che l'edizione del database SQL Server di origine sia supportata. Per informazioni sulle versioni supportate, vedi Versioni.
      Autorizzazioni utente SQL Server	Datastream verifica che l'utente disponga delle autorizzazioni necessarie per accedere al database SQL Server di origine.
      La CDC di SQL Server è abilitata	Datastream verifica se CDC è abilitata per il database e per tutte le tabelle incluse nel flusso.
      Convalide dei database SQL Server	Datastream controlla se il database di origine è configurato correttamente, se tutti i requisiti di replica sono soddisfatti e se nelle colonne non sono presenti tipi di dati non supportati.
      Autorizzazioni per Cloud Storage o BigQuery	Datastream verifica che l'utente disponga delle autorizzazioni necessarie per scrivere nella destinazione.

   Se un controllo di convalida ha esito positivo, a sinistra del controllo viene visualizzato un segno di spunta.

   Se un controllo di convalida non ha esito positivo, a sinistra del controllo viene visualizzato un'icona a forma di punto esclamativo e sotto il controllo viene visualizzato il pulsante VISUALIZZA DETTAGLI ERRORE. Fai clic sul pulsante. Verrà visualizzata una finestra popup che spiega perché il controllo non è stato superato e fornisce informazioni su come risolvere il problema. Dopo aver apportato le correzioni necessarie, fai clic su RICONVALIDA.

   Per ulteriori informazioni sulla risoluzione dei problemi dei controlli di convalida che non vengono superati, consulta Diagnostica dei problemi.

3. Una volta superati tutti i controlli di convalida, fai clic su CREA E AVVIA per creare il flusso e avviarlo immediatamente oppure su CREA per crearne uno senza avviarlo immediatamente.

   Se non avvii lo stream ora, puoi farlo dalla pagina Stream facendo clic su AVVIA.

   Nota: il processo di creazione del flusso potrebbe comportare un carico maggiore sul database di origine. Per posticipare quel carico, crea il flusso senza avviarlo e torna per avviarlo quando il carico può essere sostenuto.

Dopo aver creato uno stream, puoi visualizzare informazioni dettagliate e generali sullo stream.