Crea un flusso

In questa sezione, imparerai a creare uno stream. Datastream utilizza questo flusso per trasferire i dati da un database di origine Oracle, MySQL, SQL Server o PostgreSQL in BigQuery o Cloud Storage.

La creazione di uno stream include:

• Definizione delle impostazioni per lo stream.
• Selezionando il profilo di connessione che hai creato per l'origine Oracle, MySQL, SQL Server, PostgreSQL, Salesforce (anteprima) o MongoDB (anteprima) (il profilo di connessione di origine) o creando un profilo di connessione di origine se non ne hai creato uno.
• Configurazione delle informazioni sul database di origine per lo stream specificando le tabelle e gli schemi nel database di origine che Datastream:
  • Può essere trasferito nella destinazione.
  • Non è possibile trasferire il saldo nella destinazione.

• Determinare se Datastream eseguirà il backfill dei dati storici, oltre a trasmettere in streaming le modifiche in corso nella destinazione, o se trasmetterà in streaming solo le modifiche ai dati. Quando attivi il backfill storico, puoi specificare facoltativamente gli schemi e le tabelle nel database di origine che Datastream non deve eseguire il backfill nella destinazione.

• Selezionando il profilo di connessione che hai creato per BigQuery o Cloud Storage (il profilo di connessione di destinazione) o creando un profilo di connessione di destinazione se non ne hai creato uno.

• Configurazione delle informazioni sulla destinazione dello stream. Queste informazioni comprendono:

  • Per BigQuery:
    • I set di dati in cui Datastream replicherà schemi, tabelle e dati da un database di origine.
  • Per Cloud Storage:
    • La cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database di origine.

• Convalida dello stream per garantire che venga eseguito correttamente. La convalida di uno stream controlla:

  • Se l'origine è configurata correttamente per consentire a Datastream di trasmettere in streaming i dati.
  • Se lo stream può connettersi sia all'origine che alla destinazione.
  • La configurazione end-to-end dello stream.

Datastream è dotato di una procedura guidata che ti aiuta a creare uno stream. Questa procedura guidata è composta da sei pannelli: Inizia, Definisci e testa origine, Configura origine, Definisci destinazione, Configura destinazione e Rivedi e crea. Le informazioni su come compilare ogni pannello sono fornite nelle varie sezioni di questa pagina.

Definisci le impostazioni per lo stream

1. Vai alla pagina Stream nella console Google Cloud .

   Vai alla pagina Stream

2. Fai clic su CREA STREAM.

3. Utilizza la seguente tabella per compilare i campi della sezione Definisci dettagli flusso della pagina Crea stream:

   Campo	Descrizione
   Nome flusso	Inserisci il nome visualizzato dello stream.
   ID stream	Datastream compila automaticamente questo campo in base al nome dello stream che inserisci. Puoi mantenere l'ID generato automaticamente o modificarlo.
   Regione	Seleziona la regione in cui è archiviato lo stream. Gli stream, come tutte le risorse, vengono salvati in una regione. La selezione della regione non influisce sulla possibilità del flusso di connettersi al database di origine o alla destinazione, ma può influire sulla disponibilità se la regione subisce tempi di inattività. Ti consigliamo di mantenere tutte le risorse per lo stream nella stessa regione dei dati di origine per ottimizzare costi e prestazioni.
   Tipo di origine	Seleziona il tipo di profilo che hai specificato quando hai creato un profilo di connessione per l'origine Oracle, MySQL, SQL Server, PostgreSQL, Salesforce (anteprima) o MongoDB (anteprima). In alternativa, se non hai creato un profilo di connessione per il database di origine, puoi crearne uno ora.
   Tipo di destinazione	Seleziona il tipo di profilo specificato quando hai creato un profilo di connessione per una destinazione BigQuery o Cloud Storage. In alternativa, se non hai creato un profilo di connessione per la destinazione, puoi crearne uno ora.
   Crittografia	Per impostazione predefinita, i dati sono criptati con una chiave gestita da Google Cloud. Se vuoi gestire la tua crittografia, puoi utilizzare una chiave di crittografia gestita dal cliente (CMEK): Seleziona la casella di controllo Chiave Cloud KMS. Dal menu a discesa Tipo di chiave, seleziona Cloud KMS e poi la tua chiave CMEK. Se non vedi la tua chiave, fai clic su INSERISCI IL NOME RISORSA DELLA CHIAVE per fornire il nome risorsa della chiave che vuoi utilizzare. Ad esempio, puoi inserire projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key nel campo Nome risorsa della chiave e poi fare clic su SALVA. Durante la creazione dello stream, Datastream verificherà che la chiave CMEK esista e che Datastream disponga delle autorizzazioni per utilizzarla. Per ulteriori informazioni sulla creazione di una CMEK o sulla concessione delle autorizzazioni Datastream per la chiave, consulta Utilizzare le chiavi di crittografia gestite dal cliente (CMEK).

4. (Facoltativo) Utilizza le etichette per organizzare le risorse Datastream.

   1. Per creare un'etichetta, fai clic su AGGIUNGI ETICHETTA e poi inserisci la coppia chiave-valore per l'etichetta.
   2. Per rimuovere l'etichetta, fai clic sull'icona del cestino a destra della riga che contiene l'etichetta.

5. (Facoltativo) Aggiungi criteri di avviso per il tuo stream. I criteri di avviso definiscono quando e come vuoi ricevere notifiche sugli errori di stream.

   1. Per creare un criterio di avviso, fai clic su Aggiungi criterio di avviso.
   2. In Cloud Monitoring viene visualizzata la pagina Crea policy di avviso. In questa pagina definisci il criterio di avviso in caso di errore dello stream.

   Per saperne di più sui criteri di avviso, consulta Gestione dei criteri di avviso basati su metriche.

6. Esamina i prerequisiti richiesti generati automaticamente per riflettere il modo in cui l'ambiente deve essere preparato per uno stream. Questi prerequisiti possono includere la configurazione del database di origine e la sua connessione alla destinazione. È consigliabile completare questi prerequisiti in questo passaggio, ma puoi farlo in qualsiasi momento prima di testare lo stream o avviarlo. Per ulteriori informazioni su questi prerequisiti, consulta Origini.

7. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione della pagina Crea stream per il tipo di database di origine.

   Nota :se il tipo di database di origine è Oracle, il nome del riquadro è Definisci profilo di connessione Oracle. Se selezioni un database di origine diverso, il nome del database viene visualizzato nel nome del riquadro.

Specifica le informazioni sul profilo di connessione di origine

1. Se hai creato un profilo di connessione di origine per Oracle, MySQL, SQL Server, PostgreSQL, Salesforce (anteprima) o MongoDB (anteprima), selezionalo dall'elenco dei profili di connessione.

   Se non hai creato un profilo di connessione di origine, creane uno facendo clic su CREA PROFILO DI CONNESSIONE nella parte inferiore dell'elenco a discesa, quindi esegui gli stessi passaggi descritti in Creare profili di connessione.

2. Fai clic su ESEGUI TEST per verificare che il database di origine e Datastream possano comunicare tra loro.

   Se il test non riesce, viene visualizzato il problema associato al profilo di connessione. Per la procedura di risoluzione dei problemi, consulta la pagina Diagnostica i problemi. Apporta le modifiche necessarie per correggere il problema e poi esegui di nuovo il test.

3. Fai clic su CONTINUA. Viene visualizzato il riquadro Configura origine stream della pagina Crea stream.

Configura le informazioni sul database di origine per lo stream

Configura un database di origine PostgreSQL

1. Definisci le proprietà di replica per il database di origine PostgreSQL. Nella sezione Proprietà di replica, specifica le seguenti proprietà:
1. Nel campo Nome slot di replica, inserisci il nome dello slot che hai creato appositamente per questo flusso. Il server di database utilizza questo slot per inviare eventi a Datastream.
2. Nel campo Nome pubblicazione, inserisci il nome della pubblicazione che hai creato nel database. Una pubblicazione è un gruppo di tutte le tabelle da cui vuoi replicare le modifiche utilizzando questo flusso.
2. Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire nella destinazione.
Il menu non carica l'elenco di tabelle e schemi se il database contiene più di 5000 oggetti.
• Se vuoi che Datastream trasferisca tutte le tabelle e tutti gli schemi, seleziona Tutte le tabelle di tutti gli schemi.
• Se vuoi che Datastream trasferisca solo tabelle e schemi specifici, seleziona Schemi e tabelle specifici e poi seleziona le caselle di controllo per gli schemi e le tabelle che vuoi che Datastream estragga.

Per ogni schema selezionato, è presente una casella di controllo Tabelle future.

• Se questa casella di controllo è selezionata, tutte le tabelle per lo schema che aggiungi all'origine dopo la creazione dello stream verranno trasferite automaticamente nella destinazione.
• Se questa casella di controllo non è selezionata, dopo la creazione dello stream, Datastream non trasferirà nuove tabelle per lo schema dall'origine alla destinazione.

Per impostazione predefinita, la casella di controllo Tabelle future è selezionata per ogni schema.

Per ogni tabella dello schema selezionata, è presente un pulsante SELEZIONA COLONNE. Fai clic su questo pulsante per filtrare le colonne della tabella che vuoi escludere dal flusso dalla sorgente alla destinazione. Le colonne che deselezioni vengono escluse dal flusso.

Per impostazione predefinita, le caselle di controllo per tutte le colonne della tabella sono selezionate.

• Se vuoi fornire una definizione testuale delle tabelle e degli schemi che vuoi che Datastream trasferisca, seleziona Personalizzato e poi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli schemi e le tabelle che vuoi che Datastream estragga. Se il tuo database contiene un numero elevato di tabelle e schemi, ti consigliamo di utilizzare l'opzione Personalizzato perché alcune tabelle e alcuni schemi potrebbero non essere inclusi nell'elenco degli oggetti da estrarre.

  Inserisci schemi e tabelle come elenco separato da virgole, utilizzando il formato [schema].[table], dove sia lo schema che la tabella possono essere un carattere jolly (asterisco). Non puoi utilizzare caratteri jolly parziali.

3. Se vuoi, espandi il nodo Seleziona gli oggetti da escludere. Nel campo Oggetti da escludere, inserisci le tabelle e gli schemi nel database di origine da cui vuoi impedire l'estrazione a Datastream. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia dell'elenco di inclusione sia di quello di esclusione, viene escluso dallo stream.
   Definisci questi schemi e queste tabelle con la stessa logica separata da virgole che utilizzi se specifichi schemi e tabelle che vuoi che Datastream estragga.
4. (Facoltativo) Espandi il nodo Scegli la modalità di backfill per i dati storici e seleziona una delle seguenti opzioni:
• Seleziona l'opzione Automatico per trasmettere in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci le tabelle e gli schemi nel database di origine che vuoi impedire a Datastream di eseguire il backfill nella destinazione.
• Seleziona l'opzione Manuale per trasmettere in streaming solo le modifiche ai dati nella destinazione.
5. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione della pagina Crea flusso di dati per il tipo di destinazione.

Configura un database MySQL di origine

1. Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire nella destinazione.
Il menu non carica l'elenco di tabelle e schemi se il database contiene più di 5000 oggetti.
• Se vuoi che Datastream trasferisca tutte le tabelle e tutti gli schemi, seleziona Tutte le tabelle di tutti gli schemi.
• Se vuoi che Datastream trasferisca solo tabelle e schemi specifici, seleziona Schemi e tabelle specifici e poi seleziona le caselle di controllo per gli schemi e le tabelle che vuoi che Datastream estragga.

Per ogni schema selezionato, è presente una casella di controllo Tabelle future.

• Se questa casella di controllo è selezionata, tutte le tabelle per lo schema che aggiungi all'origine dopo la creazione dello stream verranno trasferite automaticamente nella destinazione.
• Se questa casella di controllo non è selezionata, dopo la creazione dello stream, Datastream non trasferirà nuove tabelle per lo schema dall'origine alla destinazione.

Per impostazione predefinita, la casella di controllo Tabelle future è selezionata per ogni schema.

Per ogni tabella dello schema selezionata, è presente un pulsante SELEZIONA COLONNE. Fai clic su questo pulsante per filtrare le colonne della tabella che vuoi escludere dal flusso dalla sorgente alla destinazione. Le colonne che deselezioni vengono escluse dal flusso.

Per impostazione predefinita, le caselle di controllo per tutte le colonne della tabella sono selezionate.

• Se vuoi fornire una definizione testuale delle tabelle e degli schemi che vuoi che Datastream trasferisca, seleziona Personalizzato e poi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli schemi e le tabelle che vuoi che Datastream estragga. Se il tuo database contiene un numero elevato di tabelle e schemi, ti consigliamo di utilizzare l'opzione Personalizzato perché alcune tabelle e alcuni schemi potrebbero non essere inclusi nell'elenco degli oggetti da estrarre.

  Inserisci schemi e tabelle come elenco separato da virgole, utilizzando il formato [schema].[table], dove sia lo schema che la tabella possono essere un carattere jolly (asterisco). Non puoi utilizzare caratteri jolly parziali.

2. Se vuoi, espandi il nodo Seleziona gli oggetti da escludere. Nel campo Oggetti da escludere, inserisci le tabelle e gli schemi nel database di origine da cui vuoi impedire l'estrazione a Datastream. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia dell'elenco di inclusione sia di quello di esclusione, viene escluso dallo stream.
   Definisci questi schemi e queste tabelle con la stessa logica separata da virgole che utilizzi se specifichi schemi e tabelle che vuoi che Datastream estragga.
3. Specifica il metodo CDC per lo stream:
• Replica basata su GTID (ID transazione globali): seleziona questo metodo se vuoi che Datastream supporti i failover e fornisca una replica perfetta indipendentemente dalle modifiche apportate al cluster di database.
• Replica basata su binlog: seleziona questo metodo per leggere e replicare le modifiche direttamente dai file di log binari di un'istanza di database selezionata. Non puoi passare a un'istanza di origine o a una replica diversa utilizzando questo metodo CDC.
4. (Facoltativo) Espandi il nodo Scegli la modalità di backfill per i dati storici e seleziona una delle seguenti opzioni:
• Seleziona l'opzione Automatico per trasmettere in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci le tabelle e gli schemi nel database di origine che vuoi impedire a Datastream di eseguire il backfill nella destinazione.
• Seleziona l'opzione Manuale per trasmettere in streaming solo le modifiche ai dati nella destinazione.
5. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione della pagina Crea flusso di dati per il tipo di destinazione.

Configura un database di origine Oracle

1. Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire nella destinazione.
Il menu non carica l'elenco di tabelle e schemi se il database contiene più di 5000 oggetti.
• Se vuoi che Datastream trasferisca tutte le tabelle e tutti gli schemi, seleziona Tutte le tabelle di tutti gli schemi.
• Se vuoi che Datastream trasferisca solo tabelle e schemi specifici, seleziona Schemi e tabelle specifici e poi seleziona le caselle di controllo per gli schemi e le tabelle che vuoi che Datastream estragga.

Per ogni schema selezionato, è presente una casella di controllo Tabelle future.

• Se questa casella di controllo è selezionata, tutte le tabelle per lo schema che aggiungi all'origine dopo la creazione dello stream verranno trasferite automaticamente nella destinazione.
• Se questa casella di controllo non è selezionata, dopo la creazione dello stream, Datastream non trasferirà nuove tabelle per lo schema dall'origine alla destinazione.

Per impostazione predefinita, la casella di controllo Tabelle future è selezionata per ogni schema.

Per ogni tabella dello schema selezionata, è presente un pulsante SELEZIONA COLONNE. Fai clic su questo pulsante per filtrare le colonne della tabella che vuoi escludere dal flusso dalla sorgente alla destinazione. Le colonne che deselezioni vengono escluse dal flusso.

Per impostazione predefinita, le caselle di controllo per tutte le colonne della tabella sono selezionate.

• Se vuoi fornire una definizione testuale delle tabelle e degli schemi che vuoi che Datastream trasferisca, seleziona Personalizzato e poi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli schemi e le tabelle che vuoi che Datastream estragga. Se il tuo database contiene un numero elevato di tabelle e schemi, ti consigliamo di utilizzare l'opzione Personalizzato perché alcune tabelle e alcuni schemi potrebbero non essere inclusi nell'elenco degli oggetti da estrarre.

  Inserisci schemi e tabelle come elenco separato da virgole, utilizzando il formato [schema].[table], dove sia lo schema che la tabella possono essere un carattere jolly (asterisco). Non puoi utilizzare caratteri jolly parziali. Se non specificato esplicitamente, gli schemi e le tabelle predefiniti di Oracle non vengono inseriti nella destinazione.

2. Se vuoi, espandi il nodo Seleziona gli oggetti da escludere. Nel campo Oggetti da escludere, inserisci le tabelle e gli schemi nel database di origine da cui vuoi impedire l'estrazione a Datastream. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia dell'elenco di inclusione sia di quello di esclusione, viene escluso dallo stream.
   Definisci questi schemi e queste tabelle con la stessa logica separata da virgole che utilizzi se specifichi schemi e tabelle che vuoi che Datastream estragga.
3. Specifica il metodo CDC per lo stream:
• LogMiner: seleziona questo metodo per eseguire query sui log di ripetizione archiviati utilizzando l'API LogMiner. LogMiner supporta la maggior parte delle opzioni disponibili per Oracle, ad esempio le opzioni di crittografia e compressione.
• Lettore binario (anteprima): seleziona questo metodo per estrarre le modifiche direttamente dai log Oracle. Ciò consente una replica più rapida di database Oracle di grandi dimensioni e una latenza e un sovraccarico ridotti. Quando selezioni questa opzione, viene visualizzato un menu a discesa aggiuntivo. Seleziona la modalità di accesso ai file di log Oracle:
• Automatic Storage Management (ASM): seleziona questa opzione se il tuo database utilizza ASM. Assicurati di aver selezionato la casella di controllo Attiva l'accesso ad ASM per il lettore binario e di aver inserito i dettagli dell'istanza ASM nel profilo di connessione dell'origine.
• Directory di database: seleziona questa opzione se non utilizzi ASM per archiviare i file di log. Se selezioni le directory del database, devi fornire i nomi delle directory dei redo log e dei log archiviati.
4. (Facoltativo) Espandi il nodo Scegli la modalità di backfill per i dati storici e seleziona una delle seguenti opzioni:
• Seleziona l'opzione Automatico per trasmettere in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci le tabelle e gli schemi nel database di origine che vuoi impedire a Datastream di eseguire il backfill nella destinazione.
• Seleziona l'opzione Manuale per trasmettere in streaming solo le modifiche ai dati nella destinazione.
5. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione della pagina Crea stream per il tipo di destinazione.

Configura un database di origine SQL Server

1. Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire nella destinazione.
Il menu non carica l'elenco di tabelle e schemi se il database contiene più di 5000 oggetti.
• Se vuoi che Datastream trasferisca tutte le tabelle e tutti gli schemi, seleziona Tutte le tabelle di tutti gli schemi.
• Se vuoi che Datastream trasferisca solo tabelle e schemi specifici, seleziona Schemi e tabelle specifici e poi seleziona le caselle di controllo per gli schemi e le tabelle che vuoi che Datastream estragga.

Per ogni schema selezionato, è presente una casella di controllo Tabelle future.

• Se questa casella di controllo è selezionata, tutte le tabelle per lo schema che aggiungi all'origine dopo la creazione dello stream verranno trasferite automaticamente nella destinazione.
• Se questa casella di controllo non è selezionata, dopo la creazione dello stream, Datastream non trasferirà nuove tabelle per lo schema dall'origine alla destinazione.

Per impostazione predefinita, la casella di controllo Tabelle future è selezionata per ogni schema.

Per ogni tabella dello schema selezionata, è presente un pulsante SELEZIONA COLONNE. Fai clic su questo pulsante per filtrare le colonne della tabella che vuoi escludere dal flusso dalla sorgente alla destinazione. Le colonne che deselezioni vengono escluse dal flusso.

Per impostazione predefinita, le caselle di controllo per tutte le colonne della tabella sono selezionate.

• Se vuoi fornire una definizione testuale delle tabelle e degli schemi che vuoi che Datastream trasferisca, seleziona Personalizzato e poi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli schemi e le tabelle che vuoi che Datastream estragga. Se il tuo database contiene un numero elevato di tabelle e schemi, ti consigliamo di utilizzare l'opzione Personalizzato perché alcune tabelle e alcuni schemi potrebbero non essere inclusi nell'elenco degli oggetti da estrarre.

  Inserisci schemi e tabelle come elenco separato da virgole, utilizzando il formato [schema].[table], dove sia lo schema che la tabella possono essere un carattere jolly (asterisco). Non puoi utilizzare caratteri jolly parziali.

2. Se vuoi, espandi il nodo Seleziona gli oggetti da escludere. Nel campo Oggetti da escludere, inserisci le tabelle e gli schemi nel database di origine da cui vuoi impedire l'estrazione a Datastream. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia dell'elenco di inclusione sia di quello di esclusione, viene escluso dallo stream.
   Definisci questi schemi e queste tabelle con la stessa logica separata da virgole che utilizzi se specifichi schemi e tabelle che vuoi che Datastream estragga.
3. Specifica il metodo CDC per lo stream:
• Log delle transazioni: seleziona questo metodo per elaborare le modifiche direttamente dai log del database. Questo metodo fornisce le migliori prestazioni ed è più efficiente, ma richiede passaggi di configurazione aggiuntivi.
• Tabelle delle modifiche: seleziona questo metodo per elaborare le modifiche dalle tabelle delle modifiche dedicate. Questo metodo è più semplice da configurare e ha meno limitazioni, ma supporta un throughput inferiore e genera un carico maggiore sul database rispetto al metodo dei log delle transazioni.
4. (Facoltativo) Espandi il nodo Scegli la modalità di backfill per i dati storici e seleziona una delle seguenti opzioni:
• Seleziona l'opzione Automatico per trasmettere in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci le tabelle e gli schemi nel database di origine che vuoi impedire a Datastream di eseguire il backfill nella destinazione.
• Seleziona l'opzione Manuale per trasmettere in streaming solo le modifiche ai dati nella destinazione.
5. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione della pagina Crea flusso di dati per il tipo di destinazione.

Configurare un'organizzazione Salesforce di origine (anteprima)

1. Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare gli oggetti e i campi della tua organizzazione che vuoi che Datastream trasferisca nella destinazione.
Il menu non carica l'elenco se sono presenti più di 5000 oggetti.
• Se vuoi che Datastream trasferisca tutti gli oggetti, seleziona Tutti gli oggetti.
• Se vuoi che Datastream trasferisca solo oggetti specifici, seleziona Oggetti specifici e poi le caselle di controllo degli oggetti che vuoi che Datastream estragga.

Per ogni oggetto selezionato, è presente un pulsante SELEZIONA CAMPI. Fai clic su questo pulsante per filtrare i campi dell'oggetto che vuoi escludere dal flusso dalla sorgente alla destinazione. I campi che cancelli vengono esclusi dal flusso.

Per impostazione predefinita, le caselle di controllo per tutti i campi dell'oggetto sono selezionate.

• Se vuoi fornire una definizione testuale degli oggetti che vuoi che Datastream trasferisca, seleziona Personalizzato e poi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli oggetti che vuoi che Datastream estragga. Inserisci gli oggetti come elenco separato da virgole, utilizzando il formato [object].[field]. Se il tuo database contiene un numero elevato di oggetti, ti consigliamo di utilizzare l'opzione Personalizzato perché alcune tabelle e schemi potrebbero non essere inclusi nell'elenco degli oggetti da estrarre.
2. Definisci il valore dell'intervallo di polling in minuti. Datastream utilizza questo valore per verificare la presenza di modifiche ai dati nella tua organizzazione Salesforce. Più alto è il valore, minore è il costo e il carico sull'organizzazione. Più basso è il valore, più aggiornati sono i dati nella destinazione.
3. Se vuoi, espandi il nodo Seleziona gli oggetti da escludere. Nel campo Oggetti da escludere, inserisci gli oggetti e i campi dell'organizzazione di origine che vuoi impedire a Datastream di estrarre. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia dell'elenco di inclusione sia di quello di esclusione, viene escluso dallo stream.
   Definisci questi oggetti e campi con la stessa logica separata da virgole che utilizzi per includere gli oggetti.
4. (Facoltativo) Espandi il nodo Scegli la modalità di backfill per i dati storici e seleziona una delle seguenti opzioni:
• Seleziona l'opzione Automatico per replicare tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci gli oggetti dell'organizzazione di origine per cui vuoi limitare il backfill di Datastream nella destinazione.
• Seleziona l'opzione Manuale per replicare nella destinazione solo le modifiche ai dati.
5. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione della pagina Crea flusso di dati per il tipo di destinazione.

Configurare un database MongoDB di origine (anteprima)

1. Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare i database e le raccolte che vuoi che Datastream trasferisca nella destinazione.
Il menu non carica l'elenco se sono presenti più di 5000 oggetti.
• Se vuoi che Datastream trasferisca tutte le raccolte, seleziona Tutti i database e le raccolte.
• Se vuoi che Datastream trasferisca solo raccolte specifiche, seleziona Raccolte e database specifici, poi seleziona le caselle di controllo delle raccolte che vuoi che Datastream estragga.

Per ogni raccolta selezionata, è presente un pulsante SELEZIONA CAMPI. Fai clic su questo pulsante per filtrare i campi dell'oggetto che vuoi escludere dal flusso dalla sorgente alla destinazione. I campi che cancelli vengono esclusi dal flusso.

Per impostazione predefinita, le caselle di controllo per tutti i campi dell'oggetto sono selezionate.

• Se vuoi fornire una definizione testuale delle raccolte che vuoi che Datastream trasferisca, seleziona Personalizzato e poi, nel campo Criteri di corrispondenza degli oggetti, inserisci le raccolte che vuoi che Datastream estragga. Inserisci gli oggetti come elenco separato da virgole, utilizzando il formato [collection].[field]. Se il tuo database contiene un numero elevato di oggetti, ti consigliamo di utilizzare l'opzione Personalizzato perché alcune tabelle e schemi potrebbero non essere inclusi nell'elenco degli oggetti da estrarre.
2. (Facoltativo) Espandi il nodo Scegli la modalità di backfill per i dati storici e seleziona una delle seguenti opzioni:
• Seleziona l'opzione Automatico per replicare tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci gli oggetti dell'organizzazione di origine per cui vuoi limitare il backfill di Datastream nella destinazione.
• Seleziona l'opzione Manuale per replicare nella destinazione solo le modifiche ai dati.
3. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione della pagina Crea flusso di dati per il tipo di destinazione.

Seleziona un profilo di connessione di destinazione

1. Se hai creato un profilo di connessione di destinazione, selezionalo dall'elenco dei profili di connessione.

   Se non hai creato un profilo di connessione di destinazione, creane uno facendo clic su CREA PROFILO DI CONNESSIONE in fondo all'elenco a discesa, quindi esegui gli stessi passaggi descritti in Creare profili di connessione.

   Nota :per la destinazione delle tabelle BigLake Iceberg, utilizza o crea un profilo di connessione BigQuery.

2. Fai clic su CONTINUA. Viene visualizzato il riquadro Configura destinazione stream della pagina Crea stream.

Configura le informazioni sulla destinazione dello stream

Questa sezione descrive le informazioni che devi fornire per configurare la destinazione BigQuery o Cloud Storage.

Destinazione BigQuery

1. Nella sezione Specifica come Datastream deve inserire flussi in un set di dati BigQuery, seleziona una delle seguenti opzioni dal menu a discesa Raggruppamento schema:

   • Set di dati per ogni schema: Datastream crea un set di dati BigQuery per ogni schema di origine, in base al nome dello schema.

     Se selezioni questa opzione, per ogni schema nel database di origine, Datastream crea un set di dati nel progetto che contiene lo stream.

     Inoltre, se selezioni l'opzione Set di dati per ogni schema, devi fornire quanto segue:

     1. Nella sezione Tipo di località, specifica dove vuoi archiviare i dati in BigQuery. Seleziona Regione per specificare una singola località geografica o Più regioni per specificare un'area più ampia che contiene due o più regioni. Se la tua priorità è ottimizzare costi e prestazioni, seleziona Regione e mantieni i tuoi set di dati insieme ad altre risorse Google Cloud che gestisci. Se vuoi ottenere limiti di quota più elevati, seleziona Multiregione per consentire a BigQuery di utilizzare più regioni all'interno di un gruppo. Quando selezioni Regione, il campo viene impostato per impostazione predefinita sulla regione selezionata per lo stream.
     2. (Facoltativo) Nel campo Prefisso set di dati, definisci un prefisso per il set di dati creato dallo stream. La stringa specificata viene aggiunta al nome dello schema di origine. Ad esempio, se lo schema si chiama <mySchema> e definisci il prefisso del set di dati come <myPrefix>, Datastream crea un set di dati chiamato <myPrefix><mySchema>.
     3. Espandi la sezione Mostra opzioni di crittografia avanzate.

     4. Specifica la modalità di crittografia dei dati in BigQuery selezionando una chiave di crittografia gestita da Google o dal cliente.

        Nota: l'opzione Set di dati per ogni schema non è supportata per le origini Salesforce (anteprima).

   • Unico set di dati per tutti gli schemi: Datastream crea tutte le tabelle all'interno del set di dati BigQuery esistente che specifichi. Ogni tabella creata da Datastream viene denominata utilizzando una combinazione del nome dello schema di origine e del nome della tabella, separati da un trattino basso (ad esempio, <mySchemaName>_<myTableName>). I set di dati disponibili sono raggruppati per regione. Puoi anche creare un nuovo set di dati.

2. Specifica la Modalità di scrittura dei flussi. Seleziona la modalità di scrittura per definire la modalità di scrittura ed elaborazione dei dati in BigQuery:

   • Unisci: seleziona questa opzione se vuoi che i dati vengano sincronizzati con l'origine.
   • Solo accodamento: seleziona questa opzione se vuoi conservare tutti i dati storici per gli eventi di modifica.

3. Specifica il limite di inattività dei dati. Disponibile solo quando è selezionata la modalità Unisci nel passaggio precedente. Seleziona un limite per bilanciare le prestazioni delle query BigQuery e il relativo costo rispetto all'aggiornamento dei dati. BigQuery applica le modifiche in background su base continuativa o al momento dell'esecuzione delle query, secondo il limite di obsolescenza. Una obsolescenza inferiore (dati più aggiornati) potrebbe aumentare i costi di elaborazione di BigQuery.

   Se selezioni 0 minuti, BigQuery restituisce sempre i risultati della query in base ai dati più recenti. Ciò comporta il costo più elevato della query.

4. Fai clic su CONTINUA. Viene visualizzato il riquadro Rivedi dettagli flusso e crea della pagina Crea stream.

Destinazione tabelle BigLake Iceberg

1. Nella sezione Specifica come Datastream deve inserire flussi in un set di dati BigQuery, seleziona il modo in cui vuoi che Datastream crei nuovi schemi e nuove tabelle dal menu a discesa Raggruppamento schemi:

   • Set di dati per ogni schema: Datastream crea un set di dati BigQuery per ogni schema di origine, in base al nome dello schema.

     Se selezioni questa opzione, per ogni schema nel database di origine, Datastream crea un set di dati nel progetto che contiene lo stream.

     Inoltre, se selezioni l'opzione Set di dati per ogni schema, devi fornire quanto segue:

     1. Nella sezione Tipo di località, specifica dove vuoi archiviare i dati in BigQuery. Seleziona Regione per specificare una singola località geografica o Più regioni per specificare un'area più ampia che contiene due o più regioni. Se la tua priorità è ottimizzare costi e prestazioni, seleziona Regione e mantieni i tuoi set di dati insieme ad altre risorse Google Cloud che gestisci. Se vuoi ottenere limiti di quota più elevati, seleziona Multiregione per consentire a BigQuery di utilizzare più regioni all'interno di un gruppo. Quando selezioni Regione, il campo viene impostato per impostazione predefinita sulla regione selezionata per lo stream.
     2. (Facoltativo) Nel campo Prefisso set di dati, definisci un prefisso per il set di dati creato dallo stream. La stringa specificata viene aggiunta al nome dello schema di origine. Ad esempio, se lo schema si chiama <mySchema> e definisci il prefisso del set di dati come <myPrefix>, Datastream crea un set di dati chiamato <myPrefix><mySchema>.
     3. Espandi la sezione Mostra opzioni di crittografia avanzate.

     4. Specifica la modalità di crittografia dei dati in BigQuery selezionando una chiave di crittografia gestita da Google o dal cliente.

        Nota: l'opzione Set di dati per ogni schema non è supportata per le origini Salesforce (anteprima).

   • Unico set di dati per tutti gli schemi: Datastream crea tutte le tabelle all'interno del set di dati BigQuery esistente che specifichi. Ogni tabella creata da Datastream viene denominata utilizzando una combinazione del nome dello schema di origine e del nome della tabella, separati da un trattino basso (ad esempio, <mySchemaName>_<myTableName>). I set di dati disponibili sono raggruppati per regione. Puoi anche creare un nuovo set di dati.

2. Nella sezione Definisci la connessione Datastream alle tabelle BigLake Iceberg, fornisci le seguenti informazioni:

   • Nel menu a discesa ID connessione, seleziona l'identificatore della connessione BigQuery che hai creato e che vuoi utilizzare per il flusso. Per informazioni sulla creazione di una connessione alle risorse Cloud in BigQuery, consulta Configurare le tabelle BigLake Iceberg in BigQuery.

     Nota: per evitare errori nel flusso, assicurati che l'ID connessione disponga delle autorizzazioni di scrittura per il bucket Cloud Storage sottostante.

   • Inserisci o seleziona l'indirizzo URI del bucket che hai creato in Cloud Storage. Per informazioni sulla creazione di un bucket Cloud Storage, consulta Creare un bucket.

3. Esamina il formato del file e il formato della tabella. Datastream supporta il formato file Parquet e il formato tabella Iceberg.

4. Controlla la Modalità di scrittura dei flussi. Datastream supporta solo la modalità di scrittura Solo aggiunta durante lo streaming verso le tabelle BigLake Iceberg.

5. Fai clic su CONTINUA. Viene visualizzato il riquadro Rivedi dettagli flusso e crea della pagina Crea stream.

Destinazione di Cloud Storage

1. (Facoltativo) Nel campo Prefisso percorso stream, inserisci la cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database di origine.

   Ad esempio, se vuoi che Datastream trasferisca i dati dal database di origine nella cartella /root/example del bucket di destinazione, inserisci /root/example nel campo Prefisso percorso stream.

2. Nel campo Formato di output, scegli il formato dei file scritti in Cloud Storage.

   Datastream supporta due formati di output: Avro e JSON.

3. Facoltativo. Se selezioni il formato JSON, vengono visualizzate due caselle di controllo:

   1. Includi un file di schema di tipi unificati nel percorso del file: se selezioni questa casella di controllo, Datastream scrive due file in Cloud Storage: un file di dati JSON e un file di schema Avro. Il file di schema ha lo stesso nome del file di dati, con estensione .schema. Se non selezioni questa casella di controllo, Datastream scrive solo il file di dati JSON in Cloud Storage. Per impostazione predefinita, questa casella di controllo non è selezionata.
   2. Attiva la compressione gzip: se selezioni questa casella di controllo, Datastream utilizza l'utilità gzip per comprimere i file che Datastream scrive in Cloud Storage. Se non selezioni questa casella di controllo, Datastream scrive i file in Cloud Storage senza comprimerli. Per impostazione predefinita, questa casella di controllo è selezionata.

4. Fai clic su CONTINUA. Viene visualizzato il riquadro Rivedi dettagli flusso e crea della pagina Crea stream.

Crea lo stream

1. Verifica i dettagli del flusso, nonché i profili di connessione di origine e di destinazione che il flusso utilizzerà per trasferire i dati da un database di origine a una destinazione.

2. Fai clic su ESEGUI CONVALIDA per convalidare lo stream. Convalidando uno stream, Datastream verifica che l'origine sia configurata correttamente, convalida che lo stream possa connettersi sia all'origine che alla destinazione e verifica la configurazione end-to-end dello stream.

   1. Se il database di origine è Oracle, Datastream esegue i seguenti controlli:

      Controllo	Descrizione
      Validità dell'elenco degli oggetti	Datastream verifica che l'elenco di esclusione non includa l'elenco di inclusione.
      Connettività del tunnel SSH di forwarding	Datastream verifica di potersi connettere a un bastion host tramite un tunnel SSH di forwarding.
      Connettività al database Oracle	Datastream verifica di potersi connettere al database Oracle di origine.
      Autorizzazioni utente Oracle	Datastream verifica che l'utente che utilizza per connettersi al database di origine disponga di tutte le autorizzazioni necessarie per recuperare schemi, tabelle e dati dal database in modo che Datastream possa trasmettere queste informazioni alla destinazione.
      Configurazione della modalità di logging	DataStream verifica che la modalità di logging per il database Oracle sia impostata su ARCHIVELOG.
      Configurazione del logging supplementare	Datastream verifica che il logging supplementare sia attivato per le tabelle del database di cui viene eseguito lo streaming dall'origine alla destinazione.
      Configurazione CDC di Oracle	Datastream verifica che il metodo CDC selezionato sia conforme alla configurazione del database.
      Configurazione dei file di log dell'archivio	Datastream verifica che il logging dell'archivio sia configurato nell'origine e che siano presenti i file di log dell'archivio.
      Autorizzazioni Cloud Storage (per le destinazioni Cloud Storage)	Datastream verifica di disporre delle autorizzazioni necessarie per scrivere nel bucket di destinazione in Cloud Storage.

   2. Se il database di origine è MySQL, Datastream esegue i seguenti controlli:

      Controllo	Descrizione
      Autorizzazioni di replica	Datastream verifica di disporre delle autorizzazioni per replicare un database MySQL.
      Versione database	Datastream verifica che la versione del database MySQL sia supportata. Per informazioni sulle versioni supportate, vedi Versioni.
      Configurazione del formato del log binario	Datastream verifica che il formato del log binario del database MySQL sia impostato su ROW.
      Il logging binario è attivato	Datastream verifica che i file di log binari siano configurati correttamente e che siano presenti file di log.
      Configurazione immagine riga log binario	Datastream verifica che l'immagine riga del log binario sia impostata su FULL.
      Compressione binlog disattivata	Datastream verifica che la compressione binlog sia disattivata.
      Aggiornamenti delle repliche di log o slave abilitati	Datastream verifica che gli aggiornamenti della replica o dello slave dei log siano abilitati.
      Configurazione della modalità GTID (applies only to GTID-based CDC)	Datastream verifica che la modalità GTID sia impostata su ON se viene utilizzata la replica basata su GTID.
      GtidSet non contiene GTID con tag (applies only to GTID-based CDC)	Datastream verifica che il set di GTID non contenga GTID con tag.
      Autorizzazioni Cloud Storage (per le destinazioni Cloud Storage)	Datastream verifica di disporre delle autorizzazioni necessarie per scrivere nel bucket di destinazione in Cloud Storage.

      Controllo degli avvisi	Descrizione
      Configurazione di Expire logs days, Expire logs seconds o Binlog retention hours	Datastream verifica che expire_logs_days, binlog_expire_logs_seconds e binlog retention hours siano configurati con valori maggiori di 7, 604800 e 168, rispettivamente.
      Configurazione massima consentita dei pacchetti	Datastream verifica che max_allowed_packet sia impostato su 1 GB.
      Imponi la coerenza GTID o la modalità GTID restrittiva (applies only to GTID-based CDC)	Datastream verifica che la coerenza GTID o la modalità rigida GTID sia attivata.

   3. Se il database di origine è PostgreSQL, Datastream esegue i seguenti controlli:

      Controllo	Descrizione
      Connettività al database PostgreSQL	Datastream verifica di potersi connettere al database PostgreSQL di origine.
      La decodifica logica è abilitata	Datastream verifica che il parametro wal_level del database PostgreSQL sia impostato su logical.
      Configurazione dello slot di replica	Datastream verifica se lo slot di replica PostgreSQL esiste ed è attivo, se Datastream dispone delle autorizzazioni necessarie per accedervi e se è configurato correttamente.
      Configurazione della pubblicazione	Datastream verifica che la pubblicazione esista e che le tabelle da replicare per lo stream siano incluse nella pubblicazione.
      Autorizzazioni di backfill	Datastream verifica che le tabelle necessarie per il backfill dei dati storici esistano e che disponga delle autorizzazioni necessarie per leggerle.

   4. Se il database di origine è SQL Server, Datastream esegue i seguenti controlli:

      Controllo	Descrizione
      Versione SQL Server	Datastream verifica che la versione del database SQL Server di origine sia supportata. Per informazioni sulle versioni supportate, vedi Versioni.
      Autorizzazioni utente SQL Server	Datastream verifica che l'utente disponga delle autorizzazioni necessarie per accedere al database SQL Server di origine.
      La CDC di SQL Server è abilitata	Datastream verifica se CDC è abilitata per il database e tutte le tabelle incluse nello stream.
      Convalide dei database SQL Server	Datastream controlla se il database di origine è configurato correttamente, se tutti i requisiti di replica sono soddisfatti e se non sono presenti tipi di dati non supportati nelle colonne.
      Autorizzazioni Cloud Storage o BigQuery	Datastream verifica che l'utente disponga delle autorizzazioni necessarie per scrivere nella destinazione.

   5. Se il database di origine è Salesforce (anteprima), Datastream esegue i seguenti controlli:

      Controllo	Descrizione
      Accesso con credenziali	Datastream verifica di potersi autenticare correttamente con l'organizzazione Salesforce del cliente utilizzando le credenziali fornite.
      API Bulk	Datastream verifica di disporre delle autorizzazioni necessarie per accedere all'API Salesforce Bulk 2.0. L'API Bulk 2.0 è necessaria per leggere grandi quantità di dati.

      Controllo degli avvisi	Descrizione
      Limiti dell'API	Datastream calcola una stima dell'utilizzo previsto dell'API in base al numero di oggetti e all'intervallo di polling selezionati. Se il numero giornaliero previsto di richieste è superiore al limite imposto da Salesforce, Datastream mostra un avviso. Puoi comunque creare ed eseguire lo stream, anche se il controllo di convalida non viene superato.

   6. Se il database di origine è MongoDB (anteprima), Datastream esegue i seguenti controlli:

      Controllo	Descrizione
      Autorizzazioni utente	Datastream verifica che all'utente sia assegnato il ruolo readAnyDatabase.
      Configurazioni di connessione	Datastream utilizza il comando hello per verificare che le configurazioni della connessione siano valide.
      Versione di MongoDB	Datastream verifica che la versione di MongoDB sia 5.0 o successiva.
      Autorizzazioni Cloud Storage o BigQuery	Datastream verifica che l'utente disponga delle autorizzazioni necessarie per scrivere nella destinazione.

   Se un controllo di convalida viene superato, a sinistra del controllo di convalida viene visualizzata un'icona a forma di segno di spunta.

   Se un controllo di convalida non viene superato, a sinistra del controllo viene visualizzata un'icona con punto esclamativo e sotto il controllo viene visualizzato un pulsante VEDI DETTAGLI ERRORE. Fai clic sul pulsante e viene visualizzata una finestra di dialogo che spiega perché il controllo non è stato superato e fornisce informazioni su cosa fare per risolvere il problema. Dopo aver apportato le correzioni appropriate, fai clic su RIVALIDA.

   Per saperne di più sulla risoluzione dei problemi relativi ai controlli di convalida non superati, consulta la sezione Diagnosi dei problemi.

3. Dopo aver superato tutti i controlli di convalida, fai clic su CREA E AVVIA per creare lo stream e avviarlo immediatamente oppure su CREA per creare lo stream senza avviarlo immediatamente.

   Se non avvii lo stream ora, puoi avviarlo dalla pagina Stream facendo clic su AVVIA.

   Nota: la procedura di creazione dello stream potrebbe comportare un aumento del carico sul database di origine. Per posticipare il carico, crea lo stream senza avviarlo e torna ad avviarlo quando il carico può essere sostenuto.

Dopo aver creato uno stream, puoi visualizzare informazioni generali e dettagliate.

Passaggi successivi

• Per saperne di più sugli stream, consulta la sezione Ciclo di vita dello stream.
• Per scoprire come eseguire uno stream, vedi Eseguire uno stream.
• Per scoprire come modificare i flussi, consulta Modificare un flusso.
• Per scoprire come recuperare uno stream, consulta Recuperare uno stream.