Crea un flusso

In questa sezione scoprirai come creare uno stream. Datastream utilizza questo stream per trasferire i dati da un database Oracle, MySQL, SQL Server o PostgreSQL di origine in BigQuery o Cloud Storage.

La creazione di uno stream include:

  • Definizione delle impostazioni per lo stream.
  • Seleziona il profilo di connessione che hai creato per il database Oracle, MySQL, SQL Server o PostgreSQL di origine (il profilo di connessione di origine) oppure crea un profilo di connessione di origine se non ne hai ancora creato uno.
  • Configura le informazioni sul database di origine per lo stream specificando le tabelle e gli schemi nel database di origine che Datastream:
    • Può essere trasferito nella destinazione.
    • Non può essere trasferito nella destinazione.
  • Determina se Datastream eseguirà il backfill dei dati storici, oltre a trasmettere le modifiche in corso nella destinazione o solo le modifiche ai dati. Quando attivi il backfill storico, puoi specificare facoltativamente gli schemi e le tabelle nel database di origine di cui Datastream non deve eseguire il backfill nella destinazione.

  • Seleziona il profilo di connessione che hai creato per BigQuery o Cloud Storage (il profilo di connessione di destinazione) oppure crea un profilo di connessione di destinazione se non ne hai ancora creato uno.

  • Configurazione delle informazioni sulla destinazione dello stream. Queste informazioni includono:

    • Per BigQuery:
      • I set di dati in cui Datastream replicherà gli schemi, le tabelle e i dati di un database di origine.
    • Per Cloud Storage:
      • La cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database di origine.
  • Convalida dello stream per assicurarsi che venga eseguito correttamente. La convalida di uno stream verifica:

    • Indica se l'origine è configurata correttamente per consentire a Datastream di trasmettere i dati.
    • Indica se lo stream può connettersi sia all'origine che alla destinazione.
    • La configurazione end-to-end dello stream.

Definisci le impostazioni per lo stream

  1. Vai alla pagina Stream nella Google Cloud console.

    Vai alla pagina Stream

  2. Fai clic su CREA STREAM.

  3. Utilizza la tabella seguente per compilare i campi della sezione Definisci dettagli flusso della pagina Crea stream:

    CampoDescrizione
    Nome flussoInserisci il nome visualizzato dello stream.
    ID flussoDatastream compila questo campo automaticamente in base al nome dello stream inserito. Puoi mantenere l'ID generato automaticamente o modificarlo.
    RegioneSeleziona la regione in cui è archiviato lo stream. Gli stream, come tutte le risorse, vengono salvati in una regione. La selezione dell'area geografica non influisce sulla possibilità che lo stream si connetta al database di origine o a quello di destinazione, ma può influire sulla disponibilità se la regione presenta tempi di inattività. Per ottimizzare i costi e le prestazioni, ti consigliamo di mantenere tutte le risorse per lo stream nella stessa regione dei dati di origine.
    Tipo di origine

    Seleziona il tipo di profilo specificato quando hai creato un profilo di connessione per un database Oracle, MySQL, SQL Server o PostgreSQL di origine. In alternativa, se non hai creato un profilo di connessione per il database di origine, puoi crearne uno ora.

    Tipo di destinazioneSeleziona il tipo di profilo specificato quando hai creato un profilo di connessione per una destinazione BigQuery o Cloud Storage. In alternativa, se non hai creato un profilo di connessione per la destinazione, puoi crearne uno ora.
    Crittografia

    Per impostazione predefinita, i dati sono criptati con una chiave gestita da Google Cloud. Se vuoi gestire la crittografia, puoi utilizzare una chiave di crittografia gestita dal cliente (CMEK):

    1. Seleziona la casella di controllo Chiave Cloud KMS.
    2. Nel menu a discesa Tipo di chiave, seleziona Cloud KMS e poi la chiave CMEK.

    Se non vedi la chiave, fai clic su INSERISCI NOME RISORSA CHIAVE per fornire il nome della risorsa della chiave che vuoi utilizzare. Ad esempio, puoi inserire projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key nel campo Nome risorsa della chiave e fare clic su SALVA.

  4. Facoltativamente, utilizza le etichette per organizzare le risorse Datastream.

    1. Per creare un'etichetta, fai clic su AGGIUNGI ETIQUETTA e inserisci la coppia chiave-valore per l'etichetta.
    2. Per rimuovere l'etichetta, fai clic sull'icona della pattumiera a destra della riga che la contiene.
  5. Se vuoi, aggiungi criteri di avviso per il tuo stream. I criteri di avviso definiscono quando e come vuoi ricevere notifiche sugli errori dello stream.

    1. Per creare un criterio di avviso, fai clic su Aggiungi criterio di avviso.
    2. In Cloud Monitoring viene visualizzata la pagina Crea criterio di avviso. In questa pagina definisci il criterio di avviso in caso di errore dello stream.

    Per ulteriori informazioni sui criteri di avviso, consulta Gestire i criteri di avviso basati su metriche.

  6. Esamina i prerequisiti richiesti che vengono generati automaticamente per riflettere la modalità di preparazione dell'ambiente per uno stream. Questi prerequisiti possono includere la configurazione del database di origine e la sua connessione alla destinazione. È preferibile completare questi prerequisiti in questo passaggio, ma puoi farlo in qualsiasi momento prima di testare lo stream o di avviarlo. Per ulteriori informazioni su questi prerequisiti, consulta la sezione Origini.

  7. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione della pagina Crea stream per il tipo di database di origine.

Specifica le informazioni sul profilo di connessione di origine

  1. Se hai creato un profilo di connessione di origine per Oracle, MySQL, SQL Server o PostgreSQL, selezionalo dall'elenco dei profili di connessione.

    Se non hai creato un profilo di connessione di origine, creane uno facendo clic su CREA PROFILO DI CONNESSIONE nella parte inferiore dell'elenco a discesa, quindi esegui gli stessi passaggi descritti in Creare profili di connessione.

  2. Fai clic su ESEGUI TEST per verificare che il database di origine e Datastream possano comunicare tra loro.

    Se il test non va a buon fine, viene visualizzato il problema associato al profilo di connessione. Per la procedura di risoluzione dei problemi, consulta la pagina Diagnostica i problemi. Apporta le modifiche necessarie per correggere il problema, quindi riprova.

  3. Fai clic su CONTINUA. Viene visualizzato il riquadro Configura origine stream della pagina Crea stream.

Configura le informazioni sul database di origine per lo stream

Configura il database di origine PostgreSQL

Se hai selezionato PostgreSQL come database di origine, devi definire le relative proprietà di replica.

  1. Nella sezione Proprietà di replica, specifica le seguenti proprietà:
    1. Nel campo Nome dello slot di replica, inserisci il nome dello slot creato appositamente per questo stream. Il server di database utilizza questo slot per inviare eventi a Datastream.
    2. Nel campo Nome pubblicazione, inserisci il nome della pubblicazione creata nel database. Una pubblicazione è un gruppo di tutte le tabelle di cui vuoi replicare le modifiche utilizzando questo stream.
  2. Segui i passaggi descritti nella sezione Configurare i database di origine.

Configura i database di origine

  1. Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire nella destinazione.

    1. Se vuoi che Datastream trasferisca tutte le tabelle e tutti gli schemi, seleziona Tutte le tabelle di tutti gli schemi.
    2. Se vuoi che Datastream trasferisca solo tabelle e schemi specifici, seleziona Schemi e tabelle specifici e poi le caselle di controllo per gli schemi e le tabelle che vuoi che Datastream estragga.

    3. Se vuoi fornire una definizione testuale delle tabelle e degli schemi che vuoi che Datastream trasferisca, seleziona Personalizzato e, nel campo Criteri di corrispondenza degli oggetti, inserisci gli schemi e le tabelle che vuoi che Datastream estragga.

      Se il tuo database contiene un numero elevato di tabelle e schemi, ti consigliamo di utilizzare l'opzione Personalizzata perché alcune tabelle e alcuni schemi potrebbero non essere inclusi nell'elenco degli oggetti da estrarre.

  2. Se vuoi, espandi il nodo Seleziona gli oggetti da escludere. Nel campo Oggetti da escludere, inserisci le tabelle e gli schemi nel database di origine da cui vuoi impedire a Datastream di estrarre dati. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia nell'elenco di inclusione sia in quello di esclusione, viene escluso dallo stream.

  3. A seconda dell'origine selezionata, specifica il metodo CDC per lo stream:

    • Per le origini SQL Server:
      • Log delle transazioni: seleziona questo metodo per elaborare le modifiche direttamente dai log del database. Questo metodo fornisce le migliori prestazioni ed è più efficiente, ma richiede passaggi di configurazione aggiuntivi.
      • Tabelle di variazione: seleziona questo metodo per elaborare le modifiche da tabelle di variazione dedicate. Questo metodo è più semplice da configurare e ha meno limitazioni, ma supporta un throughput inferiore e produce un carico maggiore sul database rispetto al metodo dei log delle transazioni. Per ulteriori informazioni sulla configurazione del database SQL Server di origine, consulta Configurare un database SQL Server di origine.
    • Per le origini MySQL:
      • Replica basata su GTID (Global Transaction ID) (anteprima): seleziona questo metodo se vuoi che Datastream supporti i failover e fornisca una replica perfetta indipendentemente dalle modifiche nel cluster di database.
      • Replica basata su binlog: seleziona questo metodo per leggere e replicare le modifiche direttamente dai file di log binari di un'istanza del database selezionata. Non puoi spostare uno stream in esecuzione in un'istanza di origine o una replica diversa utilizzando questo metodo CDC.
    • Per le origini Oracle:
      • LogMiner: seleziona questo metodo per eseguire query sui log di ripetizione archiviati utilizzando l'API LogMiner. LogMiner supporta la maggior parte delle opzioni disponibili per Oracle, ad esempio le opzioni di crittografia e compressione.
      • Lettore binario (Anteprima): seleziona questo metodo per estrarre le modifiche direttamente dai log Oracle. Ciò consente una replica più rapida di grandi database Oracle e una riduzione della latenza e del sovraccarico. Quando selezioni questa opzione, viene visualizzato un menu a discesa aggiuntivo. Seleziona la modalità di accesso ai file di log Oracle:
      • Automatic Storage Management (ASM): seleziona questa opzione se il database utilizza ASM. Assicurati di aver selezionato la casella di controllo Attiva l'accesso ad ASM per il lettore di file binari e di aver compilato i dettagli dell'istanza ASM nel profilo di connessione dell'origine.
      • Directory del database: seleziona questa opzione se non utilizzi ASM per archiviare i file di log. Se selezioni le directory del database, devi fornire i nomi delle directory dei log redo e dei log archiviati.
  4. Se vuoi, espandi il nodo Scegli la modalità di backfill per i dati storici e poi effettua una delle seguenti selezioni:

    • Seleziona l'opzione Automatico per trasmettere in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci le tabelle e gli schemi nel database di origine per i quali vuoi limitare il backfill di Datastream nella destinazione.

    • Seleziona l'opzione Manuale per eseguire lo streaming solo delle modifiche ai dati nella destinazione.

  5. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione della pagina Crea stream per il tipo di destinazione.

Seleziona un profilo di connessione di destinazione

  1. Se hai creato un profilo di connessione di destinazione, selezionalo dall'elenco dei profili di connessione.

    Se non hai creato un profilo di connessione di destinazione, creane uno facendo clic su CREA PROFILO DI CONNESSIONE nella parte inferiore dell'elenco a discesa, quindi esegui gli stessi passaggi descritti in Creare profili di connessione.

  2. Fai clic su CONTINUA. Viene visualizzato il riquadro Configura destinazione stream della pagina Crea stream.

Configura le informazioni sulla destinazione dello stream

Questa sezione descrive le informazioni che devi fornire per configurare la destinazione BigQuery o Cloud Storage.

Destinazione BigQuery

  1. Nella sezione Specifica come Datastream deve inserire flussi in un set di dati BigQuery, seleziona una delle seguenti opzioni dal menu a discesa Raggruppamento schema:

    • Set di dati per ogni schema: Datastream crea un set di dati BigQuery per ogni schema di origine, in base al nome dello schema.

      Se selezioni questa opzione, per ogni schema nel database di origine, Datastream crea un set di dati nel progetto che contiene lo stream.

      Inoltre, se selezioni l'opzione Set di dati per ogni schema, devi fornire quanto segue:

      1. Nella sezione Tipo di località, specifica dove vuoi archiviare i dati in BigQuery. Seleziona Regione per specificare una singola località geografica o Più regioni per specificare un'area più grande che contiene due o più regioni. Se la tua priorità è ottimizzare i costi e le prestazioni, seleziona Regione e mantieni i set di dati insieme ad altre Google Cloud risorse che gestisci. Se vuoi ottenere limiti di quota più elevati, seleziona Multi-regione per consentire a BigQuery di utilizzare più regioni all'interno di un gruppo. Quando selezioni Regione, il campo assume per impostazione predefinita la regione selezionata per lo stream.
      2. (Facoltativo) Nel campo Prefisso set di dati, definisci un prefisso per il set di dati creato dallo stream. La stringa specificata viene aggiunta al nome dello schema di origine. Ad esempio, se lo schema si chiama <mySchema> e definisci il prefisso del set di dati come <myPrefix>, Datastream crea un set di dati denominato <myPrefix><mySchema>.
      3. Espandi la sezione Mostra opzioni di crittografia avanzate.
      4. Specifica la modalità di crittografia dei dati in BigQuery selezionando una chiave di crittografia gestita da Google o dal cliente.
    • Un unico set di dati per tutti gli schemi: Datastream crea tutte le tabelle all'interno del set di dati BigQuery esistente specificato. Ogni tabella creata da Datastream viene denominata utilizzando una combinazione del nome dello schema di origine e del nome della tabella, separati da un'underscore (ad es. <mySchemaName>_<myTableName>). I set di dati disponibili sono raggruppati per regione. Puoi anche creare un nuovo set di dati.

  2. Specifica la modalità di scrittura dei flussi. Seleziona la modalità di scrittura per definire la modalità di scrittura ed elaborazione dei dati in BigQuery:

    • Unisci: seleziona questa opzione se vuoi che i dati vengano sincronizzati con l'origine.
    • Solo accodamento: seleziona questa opzione se vuoi conservare tutti i dati storici per gli eventi di modifica.
  3. Specifica il limite di inattività dei dati. Disponibile solo quando nel passaggio precedente è selezionata la modalità Unisci. Seleziona un limite per bilanciare le prestazioni delle query BigQuery e il relativo costo rispetto all'aggiornamento dei dati. BigQuery applica le modifiche in background su base continuativa o al momento dell'esecuzione delle query, secondo il limite di obsolescenza. Una minore inattività (dati più aggiornati) potrebbe aumentare i costi di elaborazione di BigQuery.

  4. Fai clic su CONTINUA. Viene visualizzato il riquadro Rivedi dettagli flusso e crea della pagina Crea stream.

Destinazione di Cloud Storage

  1. Facoltativamente, nel campo Prefisso percorso stream, inserisci la cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database di origine.

    Ad esempio, se vuoi che Datastream trasferisca i dati dal database di origine alla cartella /root/example nel bucket di destinazione, inserisci /root/example nel campo Prefisso del percorso dello stream.

  2. Nel campo Formato di output, scegli il formato dei file scritti in Cloud Storage.

  3. Facoltativo. Se selezioni il formato JSON, vengono visualizzate due caselle di controllo:

    1. Includi un file dello schema Unified Types nel percorso del file: se selezioni questa casella di controllo, Datastream scrive due file in Cloud Storage: un file di dati JSON e un file dello schema Avro. Il file dello schema ha lo stesso nome del file di dati, con estensione .schema. Se non selezioni questa casella di controllo, Datastream scrive solo il file di dati JSON in Cloud Storage. Per impostazione predefinita, questa casella di controllo non è selezionata.
    2. Attiva la compressione gzip: se selezioni questa casella di controllo, Datastream utilizza l'utilità gzip per comprimere i file che scrive in Cloud Storage. Se non selezioni questa casella di controllo, Datastream scrive i file in Cloud Storage senza comprimerli. Per impostazione predefinita, questa casella di controllo è selezionata.
  4. Fai clic su CONTINUA. Viene visualizzato il riquadro Rivedi dettagli flusso e crea della pagina Crea stream.

Crea lo stream

  1. Verifica i dettagli dello stream, nonché i profili di connessione di origine e destinazione che verranno utilizzati per trasferire i dati da un database di origine a una destinazione.
  2. Fai clic su ESEGUI CONVALIDA per convalidare lo stream. Convalidando uno stream, Datastream controlla che l'origine sia configurata correttamente, convalida che lo stream possa connettersi sia all'origine che alla destinazione e verifica la configurazione end-to-end dello stream.

    1. Se il database di origine è Oracle, Datastream esegue i seguenti controlli:

      ControlloDescrizione
      Validità dell'elenco degli oggettiDatastream verifica che l'elenco di esclusione non includa l'elenco di inclusione.
      Connettività del tunnel SSH di forwardingDatastream verifica di potersi connettere a un bastion host tramite un tunnel SSH di forwarding.
      Connettività al database OracleDatastream verifica di potersi connettere al database Oracle di origine.
      Autorizzazioni utente OracleDatastream verifica che l'utente utilizzato per connettersi al database di origine disponga di tutte le autorizzazioni necessarie per recuperare schemi, tabelle e dati dal database in modo che possa trasmettere queste informazioni in streaming alla destinazione.
      Configurazione della modalità di loggingDatastream verifica che la modalità di logging per il database Oracle sia impostata su ARCHIVELOG.
      Configurazione del logging supplementareDatastream verifica che il logging supplementare sia attivo per le tabelle di database in streaming dall'origine alla destinazione.
      Configurazione CDC di OracleDatastream verifica che il metodo CDC selezionato sia conforme alla configurazione del database.
      Configurazione dei file di log dell'archivioDatastream verifica che il logging dell'archivio sia configurato nell'origine e che siano presenti i file di log dell'archivio.
      Autorizzazioni Cloud Storage (per le destinazioni Cloud Storage) Datastream verifica di disporre delle autorizzazioni necessarie per scrivere nel bucket di destinazione in Cloud Storage.
    2. Se il database di origine è MySQL, Datastream esegue i seguenti controlli:

      ControlloDescrizione
      Autorizzazioni di replicaDatastream verifica di disporre delle autorizzazioni per replicare un database MySQL.
      Versione databaseDatastream verifica che la versione del database MySQL sia supportata. Per informazioni sulle versioni supportate, vedi Versioni.
      Configurazione del formato del log binarioDatastream verifica che il formato del log binario del database MySQL sia impostato su ROW.
      Il logging binario è attivatoDatastream verifica che i file di log binari siano configurati correttamente e che siano presenti file di log.
      Configurazione immagine riga log binarioDatastream verifica che l'immagine riga del log binario sia impostata su FULL.
      Compressione binlog disattivataDatastream verifica che la compressione dei log bin sia disattivata.
      Aggiornamenti della replica del log o slave abilitatiDatastream verifica che gli aggiornamenti della replica del log o del slave siano abilitati.
      Configurazione della modalità GTID (applies only to GTID-based CDC)Datastream verifica che la modalità GTID sia impostata su ON se viene utilizzata la replica basata su GTID.
      GtidSet non contiene GTID con tag (applies only to GTID-based CDC)Datastream verifica che il set di GTID non contenga GTID con tag.
      Autorizzazioni Cloud Storage (per le destinazioni Cloud Storage)Datastream verifica di disporre delle autorizzazioni necessarie per scrivere nel bucket di destinazione in Cloud Storage.
      Controllo degli avvisiDescrizione
      Configurazione di giorni di scadenza dei log, secondi di scadenza dei log o ore di conservazione dei log binariDatastream verifica che expire_logs_days, binlog_expire_logs_seconds e binlog retention hours siano configurati su valori superiori a 7, 604800 e 168, rispettivamente.
      Configurazione del pacchetto massimo consentitoDatastream verifica che max_allowed_packet sia impostato su 1 GB.
      Imposta la coerenza GTID o la modalità GTID rigorosa (applies only to GTID-based CDC)Datastream verifica che la coerenza GTID o la modalità GTID rigorosa sia attivata.
    3. Se il database di origine è PostgreSQL, Datastream esegue i seguenti controlli:

      ControlloDescrizione
      Connettività al database PostgreSQLDatastream verifica di potersi connettere al database PostgreSQL di origine.
      La decodifica logica è attivataDatastream verifica che il parametro wal_level del database PostgreSQL sia impostato su logical.
      Configurazione dello slot di replicaDatastream verifica se lo slot di replica PostgreSQL esiste ed è attivo, se Datastream dispone delle autorizzazioni necessarie per accedervi e se è configurato correttamente.
      Configurazione della pubblicazioneDatastream verifica che la pubblicazione esista e che le tabelle da replicare per lo stream siano incluse nella pubblicazione.
      Autorizzazioni di backfillDatastream verifica che le tabelle necessarie per il backfill dei dati storici esistano e che disponga delle autorizzazioni necessarie per leggerle.
    4. Se il database di origine è SQL Server, Datastream esegue i seguenti controlli:

      ControlloDescrizione
      Versione SQL ServerDatastream verifica che la versione del database SQL Server di origine sia supportata. Per informazioni sulle versioni supportate, vedi Versioni.
      Autorizzazioni utente SQL ServerDatastream verifica che l'utente disponga delle autorizzazioni necessarie per accedere al database SQL Server di origine.
      La CDC di SQL Server è abilitataDatastream verifica se la CDC è abilitata per il database e per tutte le tabelle incluse nello stream.
      Convalide dei database SQL ServerDatastream controlla se il database di origine è configurato correttamente, se tutti i requisiti di replica sono soddisfatti e se nelle colonne non sono presenti tipi di dati non supportati.
      Autorizzazioni Cloud Storage o BigQueryDatastream verifica che l'utente disponga delle autorizzazioni necessarie per scrivere nella destinazione.
  3. Dopo aver superato tutti i controlli di convalida, fai clic su CREA E AVVIA per creare il flusso e avviarlo immediatamente oppure su CREA per creare il flusso senza avviarlo immediatamente.

    Se non avvii lo stream ora, puoi farlo dalla pagina Stream facendo clic su INIZIA.

Dopo aver creato uno stream, puoi visualizzare informazioni generali e dettagliate al riguardo.

Passaggi successivi