Replica dei dati da SQL Server a BigQuery

---

Questo tutorial mostra come creare ed eseguire il deployment di un job che replica continuamente i dati modificati da un database Microsoft SQL Server in una tabella BigQuery.

Obiettivi

In questo tutorial:

1. Abilita Change Data Capture (CDC) nel database SQL Server.
2. Crea ed esegui un job di replica Cloud Data Fusion.
3. Visualizza i risultati in BigQuery.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

• Cloud Data Fusion
• BigQuery
• Dataproc
• Cloud Storage
• Compute Engine

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi Google Cloud utenti potrebbero avere diritto a una prova gratuita.

Quando viene eseguita la replica, ti viene addebitato il costo del cluster Dataproc e devi sostenere i costi di elaborazione per BigQuery. Per ottimizzare questi costi, ti consigliamo vivamente di utilizzare i prezzi a tariffa fissa di BigQuery.

Prima di iniziare

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Cloud Data Fusion, BigQuery, and Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Cloud Data Fusion, BigQuery, and Cloud Storage APIs.

   Enable the APIs

8. Crea un'istanza Cloud Data Fusion pubblica nella versione 6.3.0 o successive. Se crei un'istanza privata, configura il peering di rete VPC.
   • Quando crei l'istanza, abilita la replica facendo clic su Aggiungi acceleratori e selezionando la casella di controllo Replica.
   • Per attivarla in un'istanza esistente, consulta Attivare la replica.

Importante: devi attivare la replica nell'istanza affinché venga visualizzata nell'interfaccia web di Cloud Data Fusion Menu (vedi Attivare la replica).

Per ulteriori informazioni sul networking, consulta Utilizzare HAProxy con Cloud Data Fusion per gestire topologie di rete complesse.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per questo tutorial, consulta Controllo dell'accesso con IAM e Concedere l'autorizzazione utente del service account.

(Facoltativo) Configura un'istanza VM SQL Server

1. Crea un'istanza SQL Server.

2. Scarica il database AdventureWorks2017 (OLTP) e carica i dati nell'istanza SQL Server.

Nota: se SQL Server è sempre attivo, consulta la sezione Risoluzione dei problemi per ulteriori passaggi.

Abilita CDC nel database SQL Server

Per la replica, abilita Change Data Capture (CDC) sul database e sulla tabella da replicare.

Nota: contatta l'amministratore del database per concedere l'autorizzazione a eseguire i comandi.

Se hai definito tipi di dati personalizzati nelle colonne della tabella che vengono replicate, il proprietario della tabella deve concedere autorizzazioni EXECUTE per i tipi di dati personalizzati all'utente del database specificato nel job di replica.

Creare ed eseguire un job di replica Cloud Data Fusion

Carica il driver JDBC

1. Scarica il driver JDBC di SQL Server nella tua macchina locale.

2. Nell'interfaccia web di Cloud Data Fusion, carica il driver JDBC. Utilizza questi valori per configurare il driver JDBC:

   • Nel campo Nome, inserisci sqlserver.
   • Nel campo Nome corso, inserisci com.microsoft.sqlserver.jdbc.SQLServerDriver.
   • Nel campo Versione, mantieni il valore predefinito.

Crea il job

1. Nell'interfaccia web di Cloud Data Fusion, fai clic su Replicazione.

2. Fai clic su Crea un job di replica.

3. Nella pagina Crea nuovo job di replica, specifica un Nome per il job di replica e fai clic su Avanti.

4. Configura l'origine:

   1. Seleziona Microsoft SQL Server come origine.
   2. In Host, inserisci il nome host di SQL Server da cui leggere.
   3. In Porta, inserisci la porta da utilizzare per connetterti a SQL Server: 1433.
   4. Per Nome plug-in JDBC, seleziona sqlservero il nome specificato quando hai configurato il driver JDBC.
   5. In Nome database, inserisci AdventureWorks2017.
   6. Nella sezione Credenziali, inserisci il tuo nome utente e la tua password per accedere a SQL Server.

5. Fai clic su Avanti.

6. Configura il target:

   1. Seleziona il target BigQuery.
   2. L'ID progetto e la chiave dell'account di servizio vengono rilevati automaticamente. Mantieni i valori predefiniti.
   3. (Facoltativo) Nella sezione Avanzate, puoi configurare il nome e la posizione del bucket Cloud Storage, l'intervallo di caricamento, il prefisso della tabella di staging e il comportamento quando le tabelle o i database vengono eliminati.

7. Fai clic su Avanti.

8. Se la connessione viene stabilita, viene visualizzato un elenco di tabelle AdventureWorks2017. Per questo tutorial, seleziona alcune tabelle ed eventi, ad esempio gli eventi Insert, Update e Delete.

   Nota: per procedere, devi abilitare la CDC nelle tabelle selezionate.

9. (Facoltativo) Configura le proprietà avanzate. Per questo tutorial, puoi accettare le impostazioni predefinite.

10. Fai clic su Avanti.

11. Nella pagina Esamina valutazione, fai clic su Visualizza mappature in base a una delle tabelle per una valutazione dei problemi relativi allo schema, delle funzionalità mancanti o dei problemi di connettività che potrebbero verificarsi durante la replica. I problemi devono essere risolti prima di poter procedere. Per questo tutorial, se una delle tabelle presenta problemi, torna al passaggio in cui hai selezionato le tabelle e seleziona una tabella o un evento senza problemi.

    Per ulteriori informazioni sulle conversioni dei tipi di dati dal database di origine alla destinazione BigQuery, consulta Tipi di dati di replica.

12. Fai clic su Indietro.

13. Fai clic su Avanti.

14. Esamina i dettagli del job di replica di riepilogo e poi fai clic su Esegui il deployment del job di replica.

Nota: questo tutorial utilizza il database OLTP AdventureWorks2017, che ha chiavi primarie in tutte le tabelle. Per replicare un altro database, ad esempio il database AdventureWorksDW2017 Data Warehouse, escludi le tabelle che non hanno chiavi primarie o aggiungi chiavi primarie a queste tabelle.

Avvia il job

• Nella pagina dei dettagli del job di replica, fai clic su Avvia.

Il job di replica passa dallo stato Provisioning a Avvio e poi a In esecuzione. Nello stato di esecuzione, il job di replica carica in BigQuery un'istantanea iniziale dei dati della tabella selezionata (ad esempio la tabella Persone). In questo stato, lo stato della tabella Persone è indicato come Acquisizione istantanea. Dopo aver caricato lo snapshot iniziale in BigQuery, eventuali modifiche apportate alla tabella Persone vengono replicate in BigQuery. Lo stato della tabella è indicato come Replicazione.

Monitora il job

Puoi avviare e interrompere il job di replica, esaminarne la configurazione e i log e monitorarlo.

Puoi monitorare le attività dei job di replica dalla pagina Dettagli job di replica.

1. Nella pagina Replicazione, fai clic sul nome del job di replicazione.

2. Fai clic su Monitoraggio.

Visualizza i risultati in BigQuery

Il job di replica crea un set di dati e una tabella replicati in BigQuery, con i nomi ereditati dai nomi delle tabelle e del database SQL Server corrispondente.

Nota: se il nome del database di origine non segue le convenzioni di denominazione dei set di dati BigQuery o se si verificano conflitti di denominazione durante la replica di più set di dati in un singolo set di dati BigQuery, specifica gli alias nelle proprietà di destinazione BigQuery.

1. Apri BigQuery nella console Google Cloud.

2. Nel riquadro a sinistra, fai clic sul nome del progetto per espandere un elenco di set di dati.

3. Seleziona il set di dati adventureworks2017, quindi una tabella da visualizzare.

Per ulteriori informazioni, consulta la documentazione di BigQuery.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Al termine del tutorial, elimina le risorse che hai creato su Google Cloud.

Elimina l'istanza VM

1. In the Google Cloud console, go to the VM instances page.

   Go to VM instances

2. Select the checkbox for the instance that you want to delete.
3. To delete the instance, click More actions, click Delete, and then follow the instructions.

Elimina l'istanza Cloud Data Fusion

Segui le istruzioni per eliminare l'istanza Cloud Data Fusion.

Elimina il progetto

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, il riuso dei progetti può aiutarti a non superare i limiti di quota.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Passaggi successivi

• Scopri di più sulla replica in Cloud Data Fusion.
• Consulta il riferimento all'API Replication.
• Segui il tutorial sulla replica dei dati da MySQL a BigQuery.
• Segui il tutorial Replica dei dati da Oracle a BigQuery.