Esegui lo streaming delle modifiche ai dati quasi in tempo reale con Datastream

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Datastream API.

    Enable the API

  5. Assicurati di avere il ruolo Amministratore Datastream assegnato al tuo account utente.

    Vai alla pagina IAM

Se vuoi creare una configurazione di connettività privata per una rete VPC standard o condivisa, devi completare altri prerequisiti. Per ulteriori informazioni, consulta Creare una configurazione di connettività privata.

Requisiti

Datastream offre una serie di opzioni di origine, destinazione e metodi di connettività di rete.

In questa guida rapida, presupponiamo che tu stia utilizzando un database Oracle autonomo e un servizio Cloud Storage di destinazione. Per il database di origine, dovresti essere in grado di configurare la rete per aggiungere una regola firewall in entrata. Il database di origine può essere on-premise o in un provider cloud. Poiché la destinazione è Cloud Storage, deve trovarsi nel provider cloud di Google.

Poiché non possiamo conoscere le specifiche del tuo ambiente, non possiamo fornire passaggi dettagliati per la configurazione di rete.

Per questa guida rapida, seleziona Lista consentita IP come metodo di connettività. La lista consentita di IP è una funzionalità di sicurezza spesso utilizzata per limitare e controllare l'accesso ai dati nel database di origine da parte di utenti attendibili. Puoi utilizzare le liste consentite IP per creare elenchi di indirizzi IP o intervalli IP attendibili da cui i tuoi utenti e altri servizi cloud come Datastream possono accedere a questi dati. Per utilizzare le liste consentite di IP, devi aprire il database o il firewall di origine alle connessioni in entrata da Datastream.

Creazione di profili di connessione

Creando profili di connessione per un database di origine e una destinazione, crei record contenenti informazioni sull'origine e sulla destinazione.

In questa guida introduttiva, seleziona Oracle come tipo di profilo per il profilo di connessione di origine e Cloud Storage come tipo di profilo per il profilo di connessione di destinazione. Datastream utilizza le informazioni nei profili di connessione per eseguire la migrazione dei dati dal database Oracle di origine a un bucket di destinazione in Cloud Storage.

Crea un profilo di connessione di origine per il database Oracle

  1. Vai alla pagina Profili di connessione per Datastream nella Google Cloud console.

    Vai alla pagina Profili di connessione

  2. Fai clic su CREA PROFILO.

  3. Nella pagina Crea un profilo di connessione, fai clic sul tipo di profilo Oracle (perché vuoi creare un profilo di connessione di origine per il database Oracle).

  4. Fornisci le seguenti informazioni nella sezione Definire le impostazioni di connessione della pagina Crea profilo Oracle:

    • Inserisci My Source Connection Profile come Nome profilo di connessione per il tuo database di origine.
    • Mantieni l'ID profilo di connessione generato automaticamente.
    • Seleziona la regione in cui verrà archiviato il profilo di connessione.

    • Inserisci i dettagli della connessione:

      • Nel campo Nome host o IP, inserisci un nome host o un indirizzo IP pubblico che Datastream possa utilizzare per la connessione al database Oracle di origine. Fornisci un indirizzo IP pubblico perché la lista consentita IP verrà utilizzata come metodo di connettività di rete per questa guida rapida.
      • Nel campo Porta, inserisci il numero di porta riservato al database di origine. Per un database Oracle, la porta predefinita è in genere 1521.
      • Inserisci un nome utente e una password per autenticarti nel database di origine.
      • Nel campo Identificatore di sistema (SID), inserisci l'SID o il nome del servizio che identifica l'istanza del database. Per i database Oracle, in genere è ORCL.
  5. Nella sezione Definire le impostazioni di connessione, fai clic su CONTINUA. La sezione Definisci metodo di connettività della pagina Crea profilo Oracle è attiva.

  6. Scegli il metodo di rete che vuoi utilizzare per stabilire la connettività tra Datastream e il database di origine. Per questa guida introduttiva, utilizza il menu a discesa Metodo di connettività per selezionare Lista consentita IP come metodo di rete.

  7. Configura il database di origine in modo da consentire le connessioni in entrata dagli indirizzi IP pubblici di Datastream visualizzati.

  8. Nella sezione Definisci metodo di connettività, fai clic su CONTINUA. La sezione Testa il profilo di connessione della pagina Crea profilo Oracle è attiva.

  9. Fai clic su ESEGUI TEST per verificare che il database Oracle di origine e Datastream possano comunicare tra loro.

  10. Verifica che venga visualizzato lo stato "Test superato".

  11. Se il test non va a buon fine, puoi risolvere il problema nella parte appropriata del flusso e poi tornare a eseguire il test. Per la procedura di risoluzione dei problemi, consulta la pagina Diagnostica i problemi.

  12. Fai clic su CREA.

Creare un profilo di connessione di destinazione per Cloud Storage

  1. Vai alla pagina Profili di connessione per Datastream nella Google Cloud console.

    Vai alla pagina Profili di connessione

  2. Fai clic su CREA PROFILO.

  3. Nella pagina Crea un profilo di connessione, fai clic sul tipo di profilo Cloud Storage (perché vuoi creare un profilo di connessione di destinazione per Cloud Storage).

  4. Nella pagina Crea profilo Cloud Storage, fornisci le seguenti informazioni:

    • Inserisci My Destination Connection Profile come Nome profilo di connessione per il servizio Cloud Storage di destinazione.
    • Mantieni l'ID profilo di connessione generato automaticamente.
    • Seleziona la regione in cui verrà archiviato il profilo di connessione.
    • Nel riquadro Dettagli connessione, fai clic su SFOGLIA.
    • Nel riquadro Seleziona bucket, seleziona il bucket di destinazione in Cloud Storage in cui Datastream trasferirà i dati dal database di origine e poi fai clic su SELEZIONA.

      Il bucket viene visualizzato nel campo Nome bucket della pagina Crea profilo Cloud Storage.

    • Facoltativamente, nel campo Prefisso di percorso del profilo di connessione puoi fornire un prefisso per il percorso che verrà aggiunto al nome del bucket quando Datastream trasferisce i dati alla destinazione.

  5. Fai clic su CREA.

Dopo aver creato un profilo di connessione di origine per il database Oracle e un profilo di connessione di destinazione per Cloud Storage, puoi utilizzarli per creare uno stream.

Creazione di un flusso

In questa sezione, creerai uno stream. Datastream utilizza questo stream per trasferire i dati da un database Oracle di origine a un bucket di destinazione in Cloud Storage.

La creazione di uno stream include:

  • Definizione delle impostazioni per lo stream.
  • Seleziona il profilo di connessione che hai creato per il database di origine (profilo di connessione di origine). Per questa guida rapida, si tratta di Il mio profilo di connessione di origine.
  • Configura le informazioni sul database di origine per lo stream specificando le tabelle e gli schemi nel database di origine che Datastream:
    • Può essere trasferito nella destinazione.
    • Non può essere trasferito nella destinazione.
  • Determina se Datastream eseguirà il backfill dei dati storici, oltre a trasmettere le modifiche in corso nella destinazione o solo le modifiche ai dati.
  • Seleziona il profilo di connessione che hai creato per Cloud Storage (il profilo di connessione di destinazione). Per questa guida rapida, si tratta di Il mio profilo di connessione di destinazione.
  • Configurazione delle informazioni sul bucket di destinazione per lo stream. Queste informazioni comprendono:
    • La cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database Oracle di origine.
    • Il formato di output dei file scritti in Cloud Storage. Datastream supporta due formati di output: Avro e JSON. Per questa guida rapida, il formato del file è Avro.

Definisci le impostazioni per lo stream

  1. Vai alla pagina Stream per Datastream nella Google Cloud console.

    Vai alla pagina Stream

  2. Fai clic su CREA STREAM.

  3. Fornisci le seguenti informazioni nel riquadro Definisci i dettagli dello stream della pagina Crea stream:

    • Inserisci My Stream come Nome stream.
    • Mantieni l'ID stream generato automaticamente.
    • Nel menu Regione, seleziona la regione in cui hai creato il profilo di connessione di origine.
    • Nel menu Tipo di origine, seleziona il tipo di profilo Oracle.
    • Nel menu Tipo di destinazione, seleziona il tipo di profilo Cloud Storage.
  4. Esamina i prerequisiti richiesti che vengono generati automaticamente per riflettere la modalità di preparazione dell'ambiente per uno stream. Questi prerequisiti possono includere la configurazione del database di origine e la connessione di Datastream al bucket di destinazione in Cloud Storage.

  5. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione Oracle della pagina Crea stream.

Specifica le informazioni sul profilo di connessione di origine

  1. Nel menu Profilo di connessione di origine, seleziona il profilo di connessione di origine per il database Oracle.

  2. Fai clic su ESEGUI TEST per verificare che il database di origine e Datastream possano comunicare tra loro.

    Se il test non va a buon fine, viene visualizzato il problema associato al profilo di connessione. Per la procedura di risoluzione dei problemi, consulta la pagina Diagnostica i problemi. Apporta le modifiche necessarie per correggere il problema, quindi riprova.

  3. Fai clic su CONTINUA. Viene visualizzato il riquadro Configura origine stream della pagina Crea stream.

Configura le informazioni sul database di origine per lo stream

  1. Utilizza il menu Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire in una cartella del bucket di destinazione in Cloud Storage. Il menu viene caricato solo se il database contiene fino a 5000 oggetti.

    Per questa guida rapida, vuoi che Datastream trasferisca tutte le tabelle e tutti gli schemi. Pertanto, seleziona Tutte le tabelle di tutti gli schemi dal menu.

  2. Specifica il metodo CDC. Per questo tutorial, seleziona Logminer.

  3. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione Cloud Storage della pagina Crea stream.

Seleziona un profilo di connessione di destinazione

  1. Nel menu Profilo di connessione di destinazione, seleziona il profilo di connessione di destinazione per Cloud Storage.

  2. Fai clic su CONTINUA. Viene visualizzato il riquadro Configura destinazione stream della pagina Crea stream.

Configura le informazioni sulla destinazione dello stream

  1. Nel campo Prefisso del percorso dello stream, inserisci la cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database Oracle di origine.

    Per questa guida introduttiva, vuoi che Datastream trasferisca i dati dal database di origine alla cartella /root/tutorial nel bucket di destinazione di Cloud Storage. Pertanto, inserisci /root/tutorial nel campo Prefisso del percorso dello stream.

  2. Nel campo Formato di output, seleziona il formato dei file scritti in Cloud Storage. Per questa guida rapida, il formato del file è Avro.

  3. Fai clic su CONTINUA. Viene visualizzato il riquadro Rivedi dettagli flusso e crea della pagina Crea stream.

Crea lo stream

  1. Verifica i dettagli dello stream, nonché i profili di connessione di origine e di destinazione che verranno utilizzati per trasferire i dati da un database Oracle di origine a un bucket di destinazione in Cloud Storage.

  2. Fai clic su ESEGUI CONVALIDA per convalidare lo stream. Convalidando uno stream, Datastream controlla che l'origine sia configurata correttamente, convalida che lo stream possa connettersi sia all'origine che alla destinazione e verifica la configurazione end-to-end dello stream.

  3. Dopo aver superato tutti i controlli di convalida, fai clic su CREA.

  4. Nella finestra di dialogo Creare il flusso?, fai clic su CREA.

Dopo aver creato uno stream, puoi avviarlo.

Avvia lo stream

Nella sezione precedente della guida rapida hai creato uno stream, ma non l'hai avviato. Puoi farlo subito.

Per questa guida introduttiva, crea e avvia uno stream separatamente nel caso in cui il processo di creazione dello stream comporti un aumento del carico sul database di origine. Per posticipare il carico, crea lo stream senza avviarlo e poi avvialo quando il carico può essere sostenuto.

Se avvii lo stream, Datastream può trasferire dati, schemi e tabelle dal database di origine a quello di destinazione.

  1. Vai alla pagina Stream per Datastream nella Google Cloud console.

    Vai alla pagina Stream

  2. Seleziona la casella di controllo a sinistra dello stream che vuoi avviare. Per questa guida rapida, si tratta di Il mio stream.

  3. Fai clic su AVVIA.

  4. Nella finestra di dialogo, fai clic su INIZIA. Lo stato dello stream passa da Not started a Starting e poi a Running.

Dopo aver avviato uno stream, puoi verificare che Datastream abbia trasferito i dati dal database di origine alla destinazione.

Verifica lo stream

In questa sezione, confermi che Datastream trasferisce i dati da tutte le tabelle del database Oracle di origine alla cartella /root/tutorial del bucket di destinazione Cloud Storage.

  1. Vai alla pagina Stream per Datastream nella Google Cloud console.

    Vai alla pagina Stream

  2. Fai clic sullo stream che hai creato. Per questa guida rapida, si tratta di Il mio stream.

  3. Nella pagina Dettagli stream, fai clic sul link visualizzato sotto il campo Percorso di scrittura della destinazione. La pagina Dettagli bucket di Cloud Storage si apre in una scheda separata.

  4. Verifica che siano visualizzate cartelle che rappresentano le tabelle del database Oracle di origine.

  5. Fai clic su una delle cartelle delle tabelle ed esegui un'esplorazione dettagliata finché non visualizzi i dati associati alla tabella.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate su questa pagina, segui questi passaggi.

  1. Utilizza la console Google Cloud per eliminare il progetto, lo stream e i profili di connessione di Datastream e il bucket di destinazione Cloud Storage.

Se elimini le risorse che hai creato in Datastream, queste non occuperanno la quota e non ti verranno addebitate in futuro. Le seguenti sezioni descrivono come eliminare o disattivare queste risorse.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per questa guida rapida.

  1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

    Vai alla pagina Gestisci risorse

  2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.

  3. Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.

Elimina lo stream

  1. Vai alla pagina Stream per Datastream nella Google Cloud console.

    Vai alla pagina Stream

  2. Fai clic sullo stream che vuoi eliminare. Per questa guida rapida, si tratta di Il mio stream.

  3. Fai clic su IN PAUSA.

  4. Nella finestra di dialogo, fai clic su METTI IN PAUSE.

  5. Nel riquadro Stato stream della pagina Dettagli stream, verifica che lo stato dello stream sia Paused.

  6. Fai clic su ELIMINA.

  7. Nella finestra di dialogo, inserisci Delete nel campo di testo e fai clic su ELIMINA.

Eliminare i profili di connessione

  1. Vai alla pagina Profili di connessione per Datastream nella Google Cloud console.

    Vai alla pagina Profili di connessione

  2. Seleziona la casella di controllo per ogni profilo di connessione da eliminare. Per questa guida rapida, seleziona le caselle di controllo Il mio profilo di connessione di origine e Il mio profilo di connessione di destinazione.

  3. Fai clic su ELIMINA.

  4. Nella finestra di dialogo, fai clic su ELIMINA.

Elimina il bucket di destinazione Cloud Storage

  1. Vai alla pagina Browser per Cloud Storage nella Google Cloud console.

    Vai alla pagina Browser

  2. Seleziona la casella di controllo a sinistra del bucket, quindi fai clic su ELIMINA.

  3. Nella finestra di dialogo, inserisci DELETE nel campo di testo e fai clic su ELIMINA.

Passaggi successivi

  • Scopri di più su Datastream.
  • Prova le altre Google Cloud funzionalità. Dai un'occhiata alle nostre guide rapide.