Trasmetti le modifiche ai dati quasi in tempo reale con Datastream

Prima di iniziare

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Datastream API.

   Enable the API

7. Assicurati che al tuo account utente sia stato assegnato il ruolo Amministratore Datastream.

   Vai alla pagina IAM

Se vuoi creare una configurazione di connettività privata per una rete VPC standard o condivisa, devi completare i prerequisiti aggiuntivi. Per ulteriori informazioni, consulta Creare una configurazione di connettività privata.

Requisiti

Datastream offre una varietà di opzioni di origine, opzioni di destinazione e metodi di connettività di rete.

In questa guida rapida, supponiamo che tu stia utilizzando un database Oracle autonomo e un servizio Cloud Storage di destinazione. Per il database di origine, dovresti essere in grado di configurare la rete in modo da aggiungere una regola firewall in entrata. Il database di origine può essere on-premise o in un cloud provider. Poiché la destinazione è Cloud Storage, deve trovarsi nel cloud provider di Google.

Poiché non possiamo conoscere le specifiche del tuo ambiente, non possiamo fornirti passaggi dettagliati sulla configurazione del tuo networking.

Per questa guida rapida, dovrai selezionare Lista consentita IP come metodo di connettività. L'inserimento degli IP nella lista consentita è una funzionalità di sicurezza spesso utilizzata per limitare e controllare l'accesso ai dati del database di origine da utenti attendibili. Puoi utilizzare le liste consentite IP per creare elenchi di indirizzi IP o intervalli IP attendibili da cui gli utenti e altri servizi Cloud come Datastream possono accedere a questi dati. Per utilizzare le liste consentite IP, devi aprire il database o il firewall di origine alle connessioni in entrata da Datastream.

Creazione di profili di connessione

Creando profili di connessione per un database di origine e una destinazione, crei record contenenti informazioni sull'origine e sulla destinazione.

In questa guida rapida, selezionerai Oracle come tipo di profilo per il profilo di connessione di origine e Cloud Storage come tipo di profilo per il profilo di connessione di destinazione. Datastream utilizza le informazioni nei profili di connessione per eseguire la migrazione dei dati dal database Oracle di origine a un bucket di destinazione in Cloud Storage.

Crea un profilo di connessione di origine per il database Oracle

1. Vai alla pagina Profili di connessione per Datastream nella Google Cloud Console.

   Vai alla pagina Profili di connessione

2. Fai clic su CREA PROFILO.

3. Nella pagina Crea un profilo di connessione, fai clic sul tipo di profilo Oracle (perché vuoi creare un profilo di connessione di origine per il database Oracle).

4. Fornisci le seguenti informazioni nella sezione Definisci le impostazioni di connessione della pagina Crea profilo Oracle:

   • Inserisci My Source Connection Profile come Nome del profilo di connessione per il database di origine.
   • Conserva l'ID profilo di connessione generato automaticamente.

   • Seleziona la Regione in cui verrà archiviato il profilo di connessione.

     I profili di connessione, come tutte le risorse, vengono salvati in una regione, e un flusso può utilizzare solo profili di connessione archiviati nella stessa regione del flusso. La selezione della regione non influisce sulla possibilità di connettere Datastream all'origine o alla destinazione, ma può influire sulla disponibilità in caso di tempo di inattività della regione.

   • Inserisci Dettagli connessione:

     • Nel campo Nome host o IP, inserisci un nome host o un indirizzo IP pubblico che Datastream possa utilizzare per connettersi al database Oracle di origine. Stai fornendo un indirizzo IP pubblico perché per questa guida rapida verrà utilizzata la lista consentita IP come metodo di connettività di rete.
     • Nel campo Porta, inserisci il numero di porta riservato per il database di origine. Per un database Oracle, la porta predefinita è in genere 1521.
     • Inserisci un nome utente e una password per eseguire l'autenticazione nel database di origine.
     • Nel campo Identificatore di sistema (SID), inserisci il SID o il nome del servizio che identifica l'istanza del database. Per i database Oracle, in genere è ORCL.

5. Nella sezione Definisci le impostazioni di connessione, fai clic su CONTINUA. La sezione Definisci il metodo di connettività della pagina Crea profilo Oracle è attiva.

6. Scegli il metodo di networking che vuoi utilizzare per stabilire la connettività tra Datastream e il database di origine. Per questa guida rapida, utilizza il menu a discesa Metodo di connettività per selezionare Lista consentita IP come metodo di rete.

7. Configura il database di origine in modo da consentire le connessioni in entrata dagli indirizzi IP pubblici Datastream visualizzati.

8. Nella sezione Definisci metodo di connettività, fai clic su CONTINUA. La sezione Testa il profilo di connessione della pagina Crea profilo Oracle è attiva.

9. Fai clic su ESEGUI TEST per verificare che il database Oracle di origine e Datastream possano comunicare tra loro.

10. Verifica che venga visualizzato lo stato "Test superato".

11. Se il test non va a buon fine, puoi risolvere il problema nella parte appropriata del flusso e poi ripetere il test. Per le procedure di risoluzione dei problemi, consulta la pagina Diagnostica i problemi.

12. Fai clic su CREA.

Crea un profilo di connessione di destinazione per Cloud Storage

1. Vai alla pagina Profili di connessione per Datastream nella Google Cloud Console.

   Vai alla pagina Profili di connessione

2. Fai clic su CREA PROFILO.

3. Nella pagina Crea un profilo di connessione, fai clic sul tipo di profilo Cloud Storage (perché vuoi creare un profilo di connessione di destinazione per Cloud Storage).

4. Fornisci le seguenti informazioni nella pagina Crea profilo Cloud Storage:

   • Inserisci My Destination Connection Profile come nome del profilo di connessione per il servizio Cloud Storage di destinazione.
   • Conserva l'ID profilo di connessione generato automaticamente.
   • Seleziona la Regione in cui verrà archiviato il profilo di connessione.
   • Nel riquadro Dettagli connessione, fai clic su SFOGLIA.

   • Nel riquadro Seleziona bucket, seleziona il bucket di destinazione in Cloud Storage in cui Datastream trasferirà i dati dal database di origine, quindi fai clic su SELEZIONA.

     Il bucket viene visualizzato nel campo Nome bucket della pagina Crea profilo Cloud Storage.

     Nota: se non vedi un bucket che vuoi selezionare, puoi crearne uno.

   • Facoltativamente, nel campo Prefisso percorso del profilo di connessione, puoi fornire un prefisso per il percorso che verrà aggiunto al nome del bucket quando Datastream trasferisce i dati alla destinazione.

     Nota: qualsiasi percorso inserito in questo campo deve iniziare con una barra (/).

5. Fai clic su CREA.

Dopo aver creato un profilo di connessione di origine per il database Oracle e un profilo di connessione di destinazione per Cloud Storage, puoi utilizzarli per creare un flusso.

Crea uno stream

In questa sezione, creerai uno stream. Datastream utilizza questo flusso per trasferire i dati da un database Oracle di origine a un bucket di destinazione in Cloud Storage.

La creazione di uno stream include:

• Definizione delle impostazioni per lo stream.
• Seleziona il profilo di connessione di origine creato per il database di origine (profilo di connessione di origine). Per questa guida rapida, è Il mio profilo di connessione di origine.
• Configura le informazioni sul database di origine per il flusso specificando le tabelle e gli schemi nel database di origine che Datastream:
  • Può trasferire alla destinazione.
  • Il trasferimento alla destinazione è limitato.
• Stabilire se Datastream eseguirà il backfill dei dati storici, trasmetterà il flusso delle modifiche in corso nella destinazione o trasmetterà in streaming solo le modifiche ai dati.
• Seleziona il profilo di connessione creato per Cloud Storage (profilo di connessione di destinazione). Per questa guida rapida, questo è Il mio profilo di connessione di destinazione.
• È in corso la configurazione delle informazioni sul bucket di destinazione per il flusso. Queste informazioni includono:
  • La cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database Oracle di origine.
  • Il formato di output dei file scritti in Cloud Storage. Datastream supporta attualmente due formati di output: Avro e JSON. Per questa guida rapida, il formato file è Avro.

Datastream include una procedura guidata per aiutarti a creare un flusso. Questa procedura guidata è composta da sei riquadri: Inizia, Definisci e testa origine, Configura origine, Definisci destinazione, Configura destinazione e Rivedi e crea. Le informazioni su come compilare ogni riquadro sono fornite nelle varie sezioni di questa pagina.

Definisci le impostazioni per lo stream

1. Vai alla pagina Stream per Datastream nella Google Cloud Console.

   Vai alla pagina Stream

2. Fai clic su CREA STREAM.

3. Fornisci le seguenti informazioni nel riquadro Definisci i dettagli dello stream della pagina Crea stream:

   • Inserisci My Stream come Nome stream.
   • Conserva l'ID stream generato automaticamente.
   • Dal menu Regione, seleziona la regione in cui hai creato il profilo di connessione di origine.
   • Nel menu Tipo di origine, seleziona il tipo di profilo Oracle.
   • Nel menu Tipo di destinazione, seleziona il tipo di profilo Cloud Storage.

4. Esamina i prerequisiti richiesti generati automaticamente per riflettere il modo in cui il tuo ambiente deve essere preparato per uno stream. Questi prerequisiti possono includere come configurare il database di origine e come connettere Datastream al bucket di destinazione in Cloud Storage.

   Per saperne di più su questi prerequisiti, consulta Configurare un database Oracle di origine.

5. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione Oracle della pagina Crea stream.

Specifica le informazioni sul profilo di connessione di origine

1. Nel menu Profilo di connessione di origine, seleziona il tuo profilo di connessione di origine per il database Oracle.

2. Fai clic su ESEGUI TEST per verificare che il database di origine e Datastream possano comunicare tra loro.

   Se il test non va a buon fine, viene visualizzato il problema associato al profilo di connessione. Per le procedure di risoluzione dei problemi, consulta la pagina Diagnostica i problemi. Apporta le modifiche necessarie per risolvere il problema, quindi ripeti il test.

3. Fai clic su CONTINUA. Viene visualizzato il riquadro Configura l'origine dello stream della pagina Crea stream.

Configura le informazioni sul database di origine per lo stream

1. Utilizza il menu Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire in una cartella del bucket di destinazione in Cloud Storage. Il menu viene caricato solo se il database contiene fino a 5000 oggetti.

   Per questa guida rapida, vuoi che Datastream trasferisca tutte le tabelle e gli schemi. Pertanto, seleziona Tutte le tabelle di tutti gli schemi dal menu.

   Per questa guida rapida, assicurati che il riquadro Seleziona gli oggetti da escludere sia impostato su "Nessuno". Non vuoi impedire a Datastream di trasferire tabelle e schemi nel tuo database di origine in Cloud Storage.

   Inoltre, assicurati che il riquadro Scegli la modalità di backfill per i dati storici sia impostato su "Automatico". Datastream trasmetterà in flussi tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione.

2. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione Cloud Storage della pagina Crea stream.

Seleziona un profilo di connessione di destinazione

1. Dal menu Profilo di connessione di destinazione, seleziona il tuo profilo di connessione di destinazione per Cloud Storage.

2. Fai clic su CONTINUA. Viene visualizzato il riquadro Configura destinazione stream della pagina Crea stream.

Configura le informazioni sulla destinazione dello stream

1. Nel campo Prefisso percorso flusso, inserisci la cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database Oracle di origine.

   Per questa guida rapida, vuoi che Datastream trasferisca i dati dal database di origine alla cartella /root/tutorial del bucket di destinazione di Cloud Storage. Di conseguenza, inserisci /root/tutorial nel campo Prefisso percorso stream.

2. Nel campo Formato output, seleziona il formato dei file scritti in Cloud Storage. Per questa guida rapida, il formato file è Avro.

3. Fai clic su CONTINUA. Viene visualizzato il riquadro Esamina i dettagli dello stream e crea della pagina Crea stream.

Crea lo stream

1. Verifica i dettagli del flusso e i profili di connessione di origine e di destinazione che il flusso utilizzerà per trasferire i dati da un database Oracle di origine a un bucket di destinazione in Cloud Storage.

2. Fai clic su ESEGUI VALIDAZIONE per convalidare lo stream. Con la convalida di un flusso, Datastream controlla che l'origine sia configurata correttamente, verifica che il flusso possa connettersi sia all'origine che alla destinazione e verifica la configurazione end-to-end del flusso.

   Se un controllo di convalida ha esito positivo, a sinistra del controllo viene visualizzato un segno di spunta.

   Se un controllo di convalida non ha esito positivo, a sinistra del controllo viene visualizzato un'icona a forma di punto esclamativo e sotto il controllo viene visualizzato il pulsante VISUALIZZA DETTAGLI ERRORE. Fai clic sul pulsante. Verrà visualizzata una finestra popup che spiega perché il controllo non è stato superato e fornisce informazioni su come risolvere il problema. Dopo aver apportato le correzioni necessarie, fai clic su RICONVALIDA.

   Per ulteriori informazioni sulla risoluzione dei problemi dei controlli di convalida che non vengono superati, consulta Diagnostica dei problemi.

3. Una volta superati tutti i controlli di convalida, fai clic su CREA.

4. Nella finestra di dialogo Creare stream?, fai clic su CREA.

Dopo aver creato uno stream, puoi avviarlo.

Avvia lo stream

Nella sezione precedente della guida rapida, hai creato un flusso, ma non l'hai avviato. Ora puoi farlo.

Per questa guida rapida, dovrai creare e avviare un flusso separatamente nel caso in cui il processo di creazione del flusso richieda un carico maggiore sul database di origine. Per interrompere questo carico, crea il flusso senza avviarlo per poi avviarlo quando può sostenere il carico.

Avviando il flusso, Datastream può trasferire dati, schemi e tabelle dal database di origine alla destinazione.

1. Vai alla pagina Stream per Datastream nella Google Cloud Console.

   Vai alla pagina Stream

2. Seleziona la casella di controllo a sinistra dello stream che vuoi avviare. Per questa guida rapida, è Il mio stream.

3. Fai clic su INIZIA.

4. Nella finestra di dialogo, fai clic su INIZIA. Lo stato dello stream cambia da Not started a Starting a Running.

   L'avvio dello streaming richiede circa 30 secondi. Per poter avviare lo stream, è necessario avviare le risorse in background.

Dopo aver avviato un flusso, puoi verificare che Datastream abbia trasferito i dati dal database di origine alla destinazione.

Verifica lo stream

In questa sezione confermi che Datastream trasferisca i dati da tutte le tabelle del database Oracle di origine nella cartella /root/tutorial del bucket di destinazione Cloud Storage.

1. Vai alla pagina Stream per Datastream nella Google Cloud Console.

   Vai alla pagina Stream

2. Fai clic sullo stream che hai creato. Per questa guida rapida, è Il mio stream.

3. Nella pagina Dettagli stream, fai clic sul link visualizzato sotto il campo Percorso scrittura destinazione. La pagina Dettagli bucket di Cloud Storage si apre in una scheda separata.

   Nota: il link su cui fai clic comprende il nome del bucket e la cartella del bucket in cui Datastream ha trasferito schemi, tabelle e dati dal database Oracle di origine. Hai specificato che questa cartella è /root/tutorial quando hai configurato le informazioni sul profilo di connessione di destinazione per il tuo stream. Pertanto, il link dovrebbe apparire come [bucket-name]/root/tutorial.

4. Verifica che vengano visualizzate le cartelle che rappresentano le tabelle del database Oracle di origine.

5. Fai clic su una delle cartelle della tabella e visualizza i dati in dettaglio fino a quando non vengono visualizzati i dati associati alla tabella.

   La prima cartella è [schema]_[table], seguita dalle cartelle che rappresentano l'anno, il mese, il giorno, l'ora e il minuto in cui Datastream ha trasferito i dati dal database Oracle di origine a un bucket di destinazione in Cloud Storage.

   Viene creata una cartella ogni minuto (quando ci sono nuovi dati da scrivere).

   Un nuovo file viene creato quando le dimensioni del file raggiungono i 250 MB o ogni volta che uno schema viene modificato. Se le tabelle sono partizionate, vengono creati file per ogni partizione.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi:

1. Usa la console Google Cloud per eliminare il progetto, i profili di flusso e connessione Datastream e il bucket di destinazione Cloud Storage.

Eseguendo la pulizia delle risorse che hai creato su Datastream, queste non supereranno la quota e non ti verranno addebitati costi in futuro. Le sezioni seguenti descrivono come eliminare o disattivare queste risorse.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per questa guida rapida.

L'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per questa guida rapida, quando lo elimini, elimini anche qualsiasi altra attività svolta nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se prevedi di esplorare più tutorial e guide rapide, il riutilizzo dei progetti può aiutarti a evitare di superare i limiti di quota.

1. Nella console Cloud, vai alla pagina Gestisci risorse.

   Vai alla pagina Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.

3. Nella finestra di dialogo, digita l'ID progetto e fai clic su Arresta per eliminare il progetto.

Elimina lo stream

1. Vai alla pagina Stream per Datastream nella Google Cloud Console.

   Vai alla pagina Stream

2. Fai clic sullo stream che vuoi eliminare. Per questa guida rapida, è Il mio stream.

3. Fai clic su PAUSA.

4. Nella finestra di dialogo, fai clic su PAUSA.

5. Nel riquadro Stato stream della pagina Dettagli stream, verifica che lo stato dello stream sia Paused.

   Nota: metti in pausa il flusso prima di eliminarlo per assicurarti che tutti i dati in fase di elaborazione vengano trasferiti correttamente dal database di origine alla destinazione.

6. Fai clic su ELIMINA.

7. Nella finestra di dialogo, inserisci Delete nel campo di testo, quindi fai clic su ELIMINA.

Elimina i profili di connessione

1. Vai alla pagina Profili di connessione per Datastream nella Google Cloud Console.

   Vai alla pagina Profili di connessione

2. Seleziona la casella di controllo per ogni profilo di connessione che vuoi eliminare. Per questa guida rapida, seleziona le caselle di controllo per Il mio profilo di connessione di origine e Il mio profilo di connessione di destinazione.

3. Fai clic su ELIMINA.

4. Nella finestra di dialogo, fai clic su ELIMINA.

Elimina il bucket di destinazione Cloud Storage

1. Vai alla pagina Browser per Cloud Storage nella Google Cloud Console.

   Vai alla pagina Browser

2. Seleziona la casella di controllo a sinistra del bucket e fai clic su ELIMINA.

3. Nella finestra di dialogo, inserisci DELETE nel campo di testo, quindi fai clic su ELIMINA.

Passaggi successivi

• Scopri di più su Datastream.
• Prova le altre funzionalità di Google Cloud. Dai un'occhiata alle nostre guide rapide.