Esegui la migrazione di una tabella CDC in un'altra regione

Questa pagina descrive le best practice per un caso d'uso in cui hai configurato la replica di Datastream in BigQuery, ma hai configurato il set di dati di destinazione in una regione errata. Poi vuoi spostare il set di dati in un'altra regione (o in più regioni) senza dover sincronizzare di nuovo tutti i dati dal database di origine a BigQuery.

Prima di iniziare

Prima di iniziare a eseguire la migrazione dei dati in un'altra regione, tieni presente quanto segue:

  • La migrazione richiede tempo e devi mettere temporaneamente in pausa lo stream durante l'operazione. Per mantenere l'integrità dei dati, il database di origine deve conservare i log delle modifiche quando lo stream è in pausa. Per stimare il tempo di messa in pausa dello stream, combina il valore di max_staleness nel set di dati e l'operazione di unione più lunga:
    • Per informazioni sul tempo necessario per il completamento delle operazioni di unione, consulta Valore max_staleness della tabella consigliato.
    • Per trovare il valore massimo di max_staleness nel set di dati, consulta Determinare il valore max_staleness corrente di una tabella e modifica la query in base alle tue esigenze specifiche.
    • Se la pausa stimata è troppo lunga per essere supportata dal database di origine, potrebbe essere consigliabile ridurre temporaneamente il valore di max_staleness per le tabelle del set di dati.
  • Verifica che l'utente che esegue la migrazione disponga di risorse BigQuery sufficienti nella regione di destinazione (prenotazione delle query e prenotazione in background). Per ulteriori informazioni sulle prenotazioni, consulta Assegnazioni delle prenotazioni.
  • Verifica che l'utente che esegue la migrazione disponga delle autorizzazioni sufficienti per eseguire questa operazione, ad esempio i controlli di Identity and Access Management (IAM) o i Controlli di servizio VPC.

Passi per la migrazione

Per avviare la migrazione del set di dati, utilizza la replica dei dati BigQuery:

  1. Nella console Google Cloud, vai alla pagina BigQuery Studio.

    Vai a BigQuery Studio

  2. Crea una replica del set di dati BigQuery nella nuova regione:

    ALTER SCHEMA DATASET_NAME
ADD REPLICA 'NEW_REGION'
OPTIONS(location='NEW_REGION');

    Sostituisci quanto segue:

    • DATASET_NAME: il nome del set di dati che vuoi creare.
    • NEW_REGION: il nome della regione in cui vuoi creare il set di dati. Ad esempio, region-us.

  3. Monitora l'avanzamento della migrazione e attendi che la filigrana di copia nella replica si avvicini a quella principale entro pochi minuti. Puoi eseguire questa query su INFORMATION_SCHEMA di BigQuery per controllare l'avanzamento della migrazione:

    SELECT
catalog_name as project_id,
schema_name as dataset_name,
replication_time as dataset_replica_staleness
FROM
'NEW_REGION'.INFORMATION_SCHEMA.SCHEMATA_REPLICAS
WHERE
catalog_name = PROJECT_ID
AND schema_name = DATASET_NAME
AND location = NEW_REGION;

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del tuo Google Cloud progetto.
    • DATASET_NAME: il nome del set di dati.
    • DATASET_REPLICA_STALENESS: la configurazione dell'obsolescenza delle tabelle nella replica del set di dati che hai creato.
    • NEW_REGION: la regione in cui hai creato il set di dati.

  4. Metti in pausa lo stream Datastream esistente. Per ulteriori informazioni, consulta la sezione su come mettere in pausa lo stream.

  5. Attendi il completamento dello stream e prendi nota dell'ora in cui lo stream è entrato nello stato PAUSED.

  6. Verifica che le ultime modifiche CDC siano state applicate alla tabella BigQuery controllando upsert_stream_apply_watermark per la tabella. Esegui la seguente query e assicurati che il timestamp della filigrana sia successivo di 10 minuti rispetto al momento in cui lo stream è stato messo in pausa:

    SELECT table_name, upsert_stream_apply_watermark
FROM DATASET_NAME.INFORMATION_SCHEMA.TABLES

    Per eseguire la query solo per una tabella specifica, aggiungi la seguente clausola WHERE:

    WHERE table_name = 'TABLE_NAME'

    Sostituisci quanto segue:

    • DATASET_NAME: il nome del set di dati.
    • TABLE_NAME: facoltativo. La tabella per la quale vuoi controllare il valore upsert_stream_apply_watermark.

  7. Utilizza la query del passaggio 3 per verificare che la filigrana della copia della nuova regione sia successiva a upsert_stream_apply_watermark acquisita nel passaggio 6.

  8. Se vuoi, confronta manualmente diverse tabelle del set di dati principale nella regione originale con la replica nella nuova regione per verificare che tutti i dati siano copiati correttamente.

  9. Esegui la promozione della replica del set di dati BigQuery eseguendo il seguente comando in BigQuery Studio:

    ALTER SCHEMA DATASET_NAME
SET OPTIONS(primary_replica = 'NEW_REGION');

    Sostituisci quanto segue:

    • DATASET_NAME: il nome del set di dati.
    • NEW_REGION: la regione in cui hai creato il set di dati.

  10. Se non hai più bisogno del set di dati originale (ora la replica) e non vuoi sostenere costi aggiuntivi, vai a BigQuery Studio e inserisci il set di dati BigQuery originale:

    ALTER SCHEMA DATASET_NAME DROP REPLICA IF EXISTS ORIGINAL_REGION;

    Sostituisci quanto segue:

    • DATASET_NAME: il nome del set di dati originale.
    • ORIGINAL_REGION: la regione del set di dati originale.

  11. Crea un nuovo stream con la stessa configurazione, ma con una nuova località di destinazione BigQuery.

  12. Avvia il nuovo stream.

    Per evitare di replicare eventi duplicati, avvia lo stream da una posizione specifica:

    • Per le origini MySQL e Oracle: puoi identificare la posizione del log esaminando i log dello stream originale e trovando l'ultima posizione da cui lo stream è stato letto correttamente. Per informazioni su come avviare lo stream da una posizione specifica, vedi Gestire gli stream.
    • Per le origini PostgreSQL: il nuovo stream inizia a leggere le modifiche dal primo numero di sequenza di log (LSN) nello slot di replica. Poiché lo stream originale potrebbe aver già elaborato alcune di queste modifiche, modifica manualmente il cursore dello slot di replica sull'ultimo LSN da cui è stato letto Datastream. Puoi trovare questo LSN nei log del consumer di Datastream.

  13. Se vuoi, elimina lo stream originale.