Configurare una destinazione BigQuery

Questa pagina descrive come configurare la destinazione BigQuery per trasmettere i dati da un database di origine utilizzando Datastream.

Configura i set di dati di destinazione

Quando configuri i set di dati per la destinazione BigQuery, puoi selezionare una delle seguenti opzioni:

  • Set di dati per ogni schema: il set di dati viene selezionato o creato nella località BigQuery specificata in base al nome dello schema dell'origine. Di conseguenza, per ogni schema nell'origine, Datastream crea automaticamente un set di dati in BigQuery.

    Se selezioni questa opzione, Datastream crea set di dati nel progetto contenente lo stream.

    Ad esempio, se hai un'origine MySQL che contiene un database mydb e una tabella employees, Datastream crea il set di dati mydb e la tabella employees in BigQuery.

  • Un unico set di dati per tutti gli schemi: puoi selezionare un set di dati BigQuery per lo stream. Datastream trasmette in streaming tutti i dati in questo set di dati. Per il set di dati selezionato, Datastream crea tutte le tabelle come <schema>_<table>.

    Ad esempio, se hai un'origine MySQL e questa origine ha un database mydb e una tabella employees all'interno del database, Datastream crea la tabella mydb_employees nel set di dati selezionato.

Comportamento di scrittura

  • La dimensione massima degli eventi quando invii flussi di dati in BigQuery è 20 MB.

  • Quando configuri il flusso, puoi selezionare il modo in cui Datastream scrive i dati delle modifiche in BigQuery. Per ulteriori informazioni, consulta Configurare la modalità di scrittura.

Configura modalità scrittura

Esistono due modalità che puoi utilizzare per definire la modalità di scrittura dei dati in BigQuery:

  • Unisci: questa è la modalità di scrittura predefinita. Se selezionata, BigQuery riflette il modo in cui i dati vengono archiviati nel database di origine. Ciò significa che Datastream scrive tutte le modifiche ai dati in BigQuery, che poi consolida le modifiche con i dati esistenti, creando così tabelle finali che sono repliche delle tabelle di origine. Con la modalità Unisci, non viene conservata alcuna registrazione cronologica degli eventi di modifica. Ad esempio, se inserisci e poi aggiorni una riga, BigQuery conserva solo i dati aggiornati. Se poi elimini la riga dalla tabella di origine, BigQuery non conserva più alcun record della riga.
  • Solo aggiunta: questa modalità ti consente di aggiungere dati a BigQuery come flusso di modifiche (eventi INSERT, UPDATE-INSERT, UPDATE-DELETEe DELETE). Utilizza questa modalità quando devi conservare lo stato storico dei dati. Per comprendere meglio la modalità di scrittura solo di accodamento, considera i seguenti scenari:
    • Backfill iniziale: dopo il backfill iniziale, tutti gli eventi vengono scritti in BigQuery come eventi di tipo INSERT, con lo stesso timestamp, lo stesso UUID (Universally Unique Identifier) e lo stesso numero di sequenza di modifica.
    • Aggiornamento della chiave primaria: quando una chiave primaria cambia, in BigQuery vengono scritte due righe:
      • Una riga UPDATE-DELETE con la chiave primaria originale
      • Una riga UPDATE-INSERT con la nuova chiave primaria
    • Aggiornamento riga: quando aggiorni una riga, in BigQuery viene scritta una singola riga UPDATE-INSERT
    • Eliminazione di righe: quando elimini una riga, in BigQuery viene scritta una singola riga DELETE

Metadati tabelle

Datastream aggiunge una colonna STRUCT denominata datastream_metadata a ogni tabella scritta nella destinazione BigQuery.

Unisci modalità scrittura

Se una tabella ha una chiave primaria nell'origine, la colonna contiene i seguenti campi:

  • UUID: questo campo ha il tipo di dati STRING.
  • SOURCE_TIMESTAMP: questo campo ha il tipo di dati INTEGER.

Se una tabella non ha una chiave primaria, la colonna contiene un campo aggiuntivo: IS_DELETED. Questo campo ha il tipo di dati BOOLEAN e indica se i dati trasmessi in flusso da Datastream verso la destinazione sono associati a un'operazione DELETE nell'origine. Le tabelle senza chiavi primarie sono di sola aggiunta.

Modalità di scrittura solo Aggiungi

La colonna datastream_metadata contiene gli stessi campi per le tabelle con e senza chiavi principali:

  • UUID: questo campo ha il tipo di dati STRING.
  • SOURCE_TIMESTAMP: questo campo ha il tipo di dati INTEGER.
  • CHANGE_SEQUENCE_NUMBER: questo campo ha il tipo di dati STRING. È una numero di sequenza interno usato da Datastream per ogni evento di modifica.
  • CHANGE_TYPE: questo campo ha il tipo di dati STRING. Indica il tipo dell'evento di modifica: INSERT, UPDATE-INSERT, UPDATE-DELETEo DELETE.
  • SORT_KEYS: questo campo contiene un array di valori STRING. Puoi utilizzare lo per ordinare gli eventi di modifica.

Utilizza le tabelle BigQuery con l'opzione max_staleness

Nell'ambito dell'importazione quasi in tempo reale, Datastream utilizza il supporto integrato di BigQuery per le operazioni di upsert, come l'aggiornamento, l'inserimento e l'eliminazione dei dati. Le operazioni di upsert consentono di aggiornare in modo dinamico la destinazione BigQuery man mano che le righe vengono aggiunte, modificate o eliminate. Datastream trasmette queste operazioni di upsert nella tabella di destinazione utilizzando l'API BigQuery Storage Write.

Specifica il limite di inattività dei dati

BigQuery applica le modifiche all'origine in background su base continuativa o al momento dell'esecuzione delle query, in base al limite di obsolescenza dei dati configurato. Quando Datastream crea una nuova tabella in BigQuery, l'opzione max_staleness della tabella viene impostata in base all'attuale valore del limite di inattività dei dati per il flusso.

Per ulteriori informazioni sull'utilizzo delle tabelle BigQuery con l'opzione max_staleness, consulta Inattualità delle tabelle.

Controllare i costi di BigQuery

I costi di BigQuery vengono addebitati separatamente da Datastream. Per apprendere Come controllare i costi di BigQuery, consulta la pagina relativa ai prezzi di CDC di BigQuery.

Tipi di dati mappa

La tabella seguente elenca le conversioni dei tipi di dati dai database di origine supportati alla destinazione BigQuery.


Database di origine Tipo di dati di origine Tipo di dati BigQuery
MySQL BIGINT(size) LONG
MySQL BIGINT (unsigned) DECIMAL
MySQL BINARY(size) STRING (hex encoded)
MySQL BIT(size) INT64
MySQL BLOB(size) STRING (hex encoded)
MySQL BOOL INT64
MySQL CHAR(size) STRING
MySQL DATE DATE
MySQL DATETIME(fsp) DATETIME
MySQL DECIMAL(precision, scale) Se il valore di precisione è <=38 e il valore della scala è <=9, NUMERIC. Altrimenti BIGNUMERIC
MySQL DOUBLE(size, d) FLOAT64
MySQL ENUM(val1, val2, val3, ...) STRING
MySQL FLOAT(precision) FLOAT64
MySQL FLOAT(size, d) FLOAT64
MySQL INTEGER(size) INT64
MySQL INTEGER (unsigned) LONG
MySQL

JSON

 JSON
MySQL LONGBLOB STRING (hex encoded)
MySQL LONGTEXT STRING
MySQL MEDIUMBLOB STRING (hex encoded)
MySQL MEDIUMINT(size) INT64
MySQL MEDIUMTEXT STRING
MySQL SET(val1, val2, val3, ...) STRING
MySQL SMALLINT(size) INT64
MySQL TEXT(size) STRING
MySQL TIME(fsp) INTERVAL
MySQL TIMESTAMP(fsp) TIMESTAMP
MySQL TINYBLOB STRING (hex encoded)
MySQL TINYINT(size) INT64
MySQL TINYTEXT STRING
MySQL VARBINARY(size) STRING (hex encoded)
MySQL VARCHAR STRING
MySQL YEAR INT64
Oracle ANYDATA UNSUPPORTED
Oracle BFILE STRING
Oracle BINARY DOUBLE FLOAT64
Oracle BINARY FLOAT FLOAT64
Oracle BLOB BYTES
Oracle CHAR STRING
Oracle CLOB STRING
Oracle DATE DATETIME
Oracle DOUBLE PRECISION FLOAT64
Oracle FLOAT(p) FLOAT64
Oracle INTERVAL DAY TO SECOND UNSUPPORTED
Oracle INTERVAL YEAR TO MONTH UNSUPPORTED
Oracle LONG/LONG RAW STRING
Oracle NCHAR STRING
Oracle NCLOB STRING
Oracle NUMBER STRING
Oracle NUMBER(precision=*) STRING
Oracle NUMBER(precision, scale<=0) Se p<=18, allora INT64. Se 18<p=<78, mappa ai tipi decimali con parametri. Se p>=79, mappa a STRING
Oracle NUMBER(precision, scale>0) Se 0<p=<78, esegui la mappatura ai tipi decimali con parametri. Se p>=79, mappa a STRING
Oracle NVARCHAR2 STRING
Oracle RAW STRING
Oracle ROWID STRING
Oracle SDO_GEOMETRY UNSUPPORTED
Oracle SMALLINT INT64
Oracle TIMESTAMP TIMESTAMP
Oracle TIMESTAMP WITH TIME ZONE TIMESTAMP
Oracle UDT (user-defined type) UNSUPPORTED
Oracle UROWID STRING
Oracle VARCHAR STRING
Oracle VARCHAR2 STRING
Oracle XMLTYPE UNSUPPORTED
PostgreSQL ARRAY JSON
PostgreSQL BIGINT INT64
PostgreSQL BIT BYTES
PostgreSQL BIT_VARYING BYTES
PostgreSQL BOOLEAN BOOLEAN
PostgreSQL BOX UNSUPPORTED
PostgreSQL BYTEA BYTES
PostgreSQL CHARACTER STRING
PostgreSQL CHARACTER_VARYING STRING
PostgreSQL CIDR STRING
PostgreSQL CIRCLE UNSUPPORTED
PostgreSQL DATE DATE
PostgreSQL DOUBLE_PRECISION FLOAT64
PostgreSQL ENUM STRING
PostgreSQL INET STRING
PostgreSQL INTEGER INT64
PostgreSQL INTERVAL INTERVAL
PostgreSQL JSON JSON
PostgreSQL JSONB JSON
PostgreSQL LINE UNSUPPORTED
PostgreSQL LSEG UNSUPPORTED
PostgreSQL MACADDR STRING
PostgreSQL MONEY FLOAT64
PostgreSQL NUMERIC Se la precisione è pari a -1, allora STRING (i tipi NUMERIC di BigQuery richiedono una precisione fissa). In caso contrario, BIGNUMERIC/NUMERIC. Per saperne di più, consulta la sezione Numeri di precisione arbitrari nella documentazione PostgreSQL.
PostgreSQL OID INT64
PostgreSQL PATH UNSUPPORTED
PostgreSQL POINT UNSUPPORTED
PostgreSQL POLYGON UNSUPPORTED
PostgreSQL REAL FLOAT64
PostgreSQL SMALLINT INT64
PostgreSQL SMALLSERIAL INT64
PostgreSQL SERIAL INT64
PostgreSQL TEXT STRING
PostgreSQL TIME TIME
PostgreSQL TIMESTAMP TIMESTAMP
PostgreSQL TIMESTAMP_WITH_TIMEZONE TIMESTAMP
PostgreSQL TIME_WITH_TIMEZONE TIME
PostgreSQL TSQUERY STRING
PostgreSQL TSVECTOR STRING
PostgreSQL TXID_SNAPSHOT STRING
PostgreSQL UUID STRING
PostgreSQL XML STRING
SQL Server BIGINT INT64
SQL Server BINARY BYTES
SQL Server BIT BOOL
SQL Server CHAR STRING
SQL Server DATE DATE
SQL Server DATETIME2 DATETIME
SQL Server DATETIME DATETIME
SQL Server DATETIMEOFFSET TIMESTAMP
SQL Server DECIMAL BIGNUMERIC
SQL Server FLOAT FLOAT64
SQL Server IMAGE BYTES
SQL Server INT INT64
SQL Server MONEY BIGNUMERIC
SQL Server NCHAR STRING
SQL Server NTEXT STRING
SQL Server NUMERIC BIGNUMERIC
SQL Server NVARCHAR STRING
SQL Server NVARCHAR(MAX) STRING
SQL Server REAL FLOAT64
SQL Server SMALLDATETIME DATETIME
SQL Server SMALLINT INT64
SQL Server SMALLMONEY NUMERIC
SQL Server TEXT STRING
SQL Server TIME TIME
SQL Server TIMESTAMP/ROWVERSION BYTES
SQL Server TINYINT INT64
SQL Server UNIQUEIDENTIFIER STRING
SQL Server VARBINARY BYTES
SQL Server VARBINARY(MAX) BYTES
SQL Server VARCHAR STRING
SQL Server VARCHAR(MAX) STRING
SQL Server XML STRING

Query su un array PostgreSQL come tipo di dati array BigQuery

Se preferisci eseguire query su un array PostgreSQL come tipo di dati ARRAY di BigQuery, puoi convertire i valori JSON in un array BigQuery utilizzando la funzione JSON_VALUE_ARRAY di BigQuery:

  SELECT ARRAY(SELECT CAST(element AS TYPE) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_col

Sostituisci quanto segue:

  • TYPE: il tipo BigQuery che corrisponde al tipo di elemento nell'array di origine PostgreSQL. Ad esempio, se il tipo di origine è un array di valori BIGINT, sostituisci TYPE con INT64.

    Per ulteriori informazioni su come mappare i tipi di dati, consulta Mappa i tipi di dati.

  • BQ_COLUMN_NAME: il nome della colonna pertinente nella tabella BigQuery.

Esistono due eccezioni al modo in cui vengono convertiti i valori:

  • Per gli array di valori BIT, BIT_VARYING o BYTEA nella colonna di origine: esegui questa query:

    SELECT ARRAY(SELECT FROM_BASE64(element) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_of_bytes

  • Per gli array di valori JSON o JSONB nella colonna di origine, utilizza la funzione JSON_QUERY_ARRAY:

    SELECT ARRAY(SELECT element FROM UNNEST(JSON_QUERY_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_of_jsons

Limitazioni note

Le limitazioni note per l'utilizzo di BigQuery come destinazione includono:

  • Puoi replicare i dati solo in un set di dati BigQuery che si trova nello stesso progetto Google Cloud dello stream di Datastream.
  • Per impostazione predefinita, Datastream non supporta l'aggiunta di una chiave primaria a una tabella già replicata in BigQuery senza una chiave primaria o la rimozione di una chiave primaria da una tabella replicata in BigQuery con una chiave primaria. Se devi apportare queste modifiche, contatta l'Assistenza Google. Per informazioni su come modificare la definizione della chiave primaria per una tabella di origine che ha già una chiave primaria, consulta Diagnosticare i problemi.

  • Le chiavi principali in BigQuery devono essere dei seguenti tipi di dati:

    • DATE
    • BOOL
    • GEOGRAPHY
    • INT64
    • NUMERIC
    • BIGNUMERIC
    • STRING
    • TIMESTAMP
    • DATETIME

    Le tabelle che contengono chiavi primarie di tipi di dati non supportati non vengono replicate da Datastream.

  • BigQuery non supporta i nomi di tabella con i caratteri ., $, /, @ o +. Datastream sostituisce questi caratteri con trattini bassi durante la creazione delle tabelle di destinazione.

    Ad esempio, table.name nel database di origine diventa table_name in BigQuery.

    Per saperne di più sui nomi delle tabelle in BigQuery, consulta Denominazione delle tabelle.

  • BigQuery non supporta più di quattro colonne di clustering. Durante la replica di una tabella con più di quattro colonne di chiave primaria, Datastream utilizza quattro colonne di chiave primaria come colonne di clustering.
  • Datastream mappa i valori letterali di data e ora fuori intervallo, come i tipi di date infinito PostgreSQL, ai seguenti valori:
    • DATE positivo al valore di 9999-12-31
    • DATE negativo rispetto al valore di 0001-01-01
    • TIMESTAMP positivo al valore di 9999-12-31 23:59:59.999000 UTC
    • TIMESTAMP negativo al valore di 0001-01-01 00:00:00 UTC
  • BigQuery non supporta le tabelle di flussi di dati con chiavi primarie di tipi di dati FLOAT o REAL. Queste tabelle non vengono replicate.

    • Per saperne di più sui tipi di date e sugli intervalli di date di BigQuery, consulta Tipi di dati.

Passaggi successivi