Questa pagina descrive come configurare la destinazione BigQuery per trasmettere i dati da un database di origine utilizzando Datastream.
Configura i set di dati di destinazione
Quando configuri i set di dati per la destinazione BigQuery, puoi selezionare una delle seguenti opzioni:
Set di dati per ogni schema: il set di dati viene selezionato o creato nella località BigQuery specificata, in base al nome dello schema dell'origine. Di conseguenza, per ogni schema nell'origine, Datastream crea automaticamente un set di dati in BigQuery.
Ad esempio, se hai un'origine MySQL che contiene un database
mydb
e una tabellaemployees
, Datastream crea il set di datimydb
e la tabellaemployees
in BigQuery.Se selezioni questa opzione, Datastream crea set di dati nel progetto contenente lo stream. Sebbene non sia necessario creare i set di dati nella stessa regione dello stream, ti consigliamo di mantenere tutte le risorse per lo stream, nonché i set di dati, nella stessa regione per l'ottimizzazione dei costi e delle prestazioni.
Un unico set di dati per tutti gli schemi: puoi selezionare un set di dati BigQuery per lo stream. Datastream trasmette in streaming tutti i dati in questo set di dati. Per il set di dati selezionato, Datastream crea tutte le tabelle come
<schema>_<table>
.Ad esempio, se hai un'origine MySQL e questa origine ha un database
mydb
e una tabellaemployees
all'interno del database, Datastream crea la tabellamydb_employees
nel set di dati selezionato.
Comportamento di scrittura
La dimensione massima degli eventi quando importi i dati in BigQuery tramite streaming è 20 MB.
Quando configuri lo stream, puoi selezionare il modo in cui Datastream scrive i dati sulle modifiche in BigQuery. Per ulteriori informazioni, consulta Configurare la modalità di scrittura.
Configura la modalità di scrittura
Esistono due modalità che puoi utilizzare per definire la modalità di scrittura dei dati in BigQuery:
- Unisci: è la modalità di scrittura predefinita. Se selezionata, BigQuery riflette il modo in cui i dati vengono archiviati nel database di origine. Ciò significa che Datastream scrive tutte le modifiche ai dati in BigQuery, che poi consolida le modifiche con i dati esistenti, creando così tabelle finali che sono repliche delle tabelle di origine. Con la modalità Unione, non viene conservato alcun record storico degli eventi di modifica. Ad esempio, se inserisci e poi aggiorni una riga, BigQuery conserva solo i dati aggiornati. Se poi elimini la riga dalla tabella di origine, BigQuery non conserva più alcun record della riga.
- Sola aggiunta: la modalità di scrittura di sola aggiunta ti consente di aggiungere dati a BigQuery come stream di modifiche (eventi
INSERT
,UPDATE-INSERT
,UPDATE-DELETE
eDELETE
). Utilizza questa modalità quando devi conservare lo stato storico dei dati. Per comprendere meglio la modalità di scrittura solo di accodamento, considera i seguenti scenari:- Backfill iniziale: dopo il backfill iniziale, tutti gli eventi vengono scritti in BigQuery come eventi di tipo
INSERT
, con lo stesso timestamp, lo stesso UUID (Universally Unique Identifier) e lo stesso numero di sequenza di modifica. - Aggiornamento della chiave primaria: quando una chiave primaria cambia, in BigQuery vengono scritte due righe:
- Una riga
UPDATE-DELETE
con la chiave primaria originale - Una riga
UPDATE-INSERT
con la nuova chiave primaria
- Una riga
- Aggiornamento riga: quando aggiorni una riga, in BigQuery viene scritta una singola riga
UPDATE-INSERT
- Eliminazione di righe: quando elimini una riga, in BigQuery viene scritta una singola riga
DELETE
- Backfill iniziale: dopo il backfill iniziale, tutti gli eventi vengono scritti in BigQuery come eventi di tipo
Metadati tabelle
Datastream aggiunge una colonna STRUCT
denominata datastream_metadata
a ogni tabella scritta nella destinazione BigQuery.
Modalità di scrittura dell'unione
Se una tabella ha una chiave primaria all'origine, la colonna contiene i seguenti campi:
UUID
: questo campo ha il tipo di datiSTRING
.SOURCE_TIMESTAMP
: questo campo ha il tipo di datiINTEGER
.
Se una tabella non ha una chiave primaria, la colonna contiene un campo aggiuntivo: IS_DELETED
. Questo campo ha il tipo di dati BOOLEAN
e indica se i dati trasmessi in streaming da Datastream alla destinazione sono associati a un'operazione BOOLEAN
all'origine.DELETE
Le tabelle senza chiavi primarie sono di sola accodamento.
Modalità di scrittura solo aggiunta
La colonna datastream_metadata
contiene gli stessi campi per le tabelle con e senza chiavi principali:
UUID
: questo campo ha il tipo di datiSTRING
.SOURCE_TIMESTAMP
: questo campo ha il tipo di datiINTEGER
.CHANGE_SEQUENCE_NUMBER
: questo campo ha il tipo di datiSTRING
. Si tratta di un numero di sequenza interno utilizzato da Datastream per ogni evento di modifica.CHANGE_TYPE
: questo campo ha il tipo di datiSTRING
. Indica il tipo dell'evento di modifica:INSERT
,UPDATE-INSERT
,UPDATE-DELETE
oDELETE
.SORT_KEYS
: questo campo contiene un array di valoriSTRING
. Puoi utilizzare i valori per ordinare gli eventi di modifica.
Utilizzare le tabelle BigQuery con l'opzione max_staleness
Nell'ambito dell'importazione quasi in tempo reale, Datastream utilizza il supporto integrato di BigQuery per le operazioni di upsert, come l'aggiornamento, l'inserimento e l'eliminazione dei dati. Le operazioni di upsert ti consentono di aggiornare dinamicamente la destinazione BigQuery man mano che le righe vengono aggiunte, modificate o eliminate. Datastream trasmette queste operazioni di upsert nella tabella di destinazione utilizzando l'API BigQuery Storage Write.
Specifica il limite di inattività dei dati
BigQuery applica le modifiche all'origine in background su base continuativa o al momento dell'esecuzione delle query, in base al limite di obsolescenza dei dati configurato. Quando Datastream crea una nuova tabella in BigQuery, l'opzione max_staleness
della tabella viene impostata in base al valore corrente del limite di inattività dei dati per lo stream.
Per ulteriori informazioni sull'utilizzo delle tabelle BigQuery con l'opzione max_staleness
, consulta Inattualità delle tabelle.
Controllare i costi di BigQuery
I costi di BigQuery vengono addebitati separatamente da quelli di Datastream. Per scoprire come controllare i costi di BigQuery, consulta la pagina Prezzi di BigQuery CDC.
Tipi di dati mappa
La tabella seguente elenca le conversioni dei tipi di dati dai database di origine supportati alla destinazione BigQuery.
Database di origine | Tipo di dati di origine | Tipo di dati BigQuery |
---|---|---|
MySQL | BIGINT(size) |
LONG |
MySQL | BIGINT (unsigned) |
DECIMAL |
MySQL | BINARY(size) |
STRING (hex encoded) |
MySQL | BIT(size) |
INT64 |
MySQL | BLOB(size) |
STRING (hex encoded) |
MySQL | BOOL |
INT64 |
MySQL | CHAR(size) |
STRING |
MySQL | DATE |
DATE |
MySQL | DATETIME(fsp) |
DATETIME |
MySQL | DECIMAL(precision, scale) |
Se il valore di precisione è <=38 e il valore di scala è <=9, NUMERIC . In caso contrario BIGNUMERIC |
MySQL | DOUBLE(size, d) |
FLOAT64 |
MySQL | ENUM(val1, val2, val3, ...) |
STRING |
MySQL | FLOAT(precision) |
FLOAT64 |
MySQL | FLOAT(size, d) |
FLOAT64 |
MySQL | INTEGER(size) |
INT64 |
MySQL | INTEGER (unsigned) |
LONG |
MySQL |
|
JSON
|
MySQL | LONGBLOB |
STRING (hex encoded) |
MySQL | LONGTEXT |
STRING |
MySQL | MEDIUMBLOB |
STRING (hex encoded) |
MySQL | MEDIUMINT(size) |
INT64 |
MySQL | MEDIUMTEXT |
STRING |
MySQL | SET(val1, val2, val3, ...) |
STRING |
MySQL | SMALLINT(size) |
INT64 |
MySQL | TEXT(size) |
STRING |
MySQL | TIME(fsp) |
INTERVAL |
MySQL | TIMESTAMP(fsp) |
TIMESTAMP |
MySQL | TINYBLOB |
STRING (hex encoded) |
MySQL | TINYINT(size) |
INT64 |
MySQL | TINYTEXT |
STRING |
MySQL | VARBINARY(size) |
STRING (hex encoded) |
MySQL | VARCHAR |
STRING |
MySQL | YEAR |
INT64 |
Oracle | ANYDATA |
UNSUPPORTED |
Oracle | BFILE |
STRING |
Oracle | BINARY DOUBLE |
FLOAT64 |
Oracle | BINARY FLOAT |
FLOAT64 |
Oracle | BLOB |
BYTES |
Oracle | CHAR |
STRING |
Oracle | CLOB |
STRING |
Oracle | DATE |
DATETIME
|
Oracle | DOUBLE PRECISION |
FLOAT64 |
Oracle | FLOAT(p) |
FLOAT64 |
Oracle | INTERVAL DAY TO SECOND |
UNSUPPORTED |
Oracle | INTERVAL YEAR TO MONTH |
UNSUPPORTED |
Oracle | LONG /LONG RAW |
STRING |
Oracle | NCHAR |
STRING |
Oracle | NCLOB |
STRING |
Oracle | NUMBER(precision, scale>0) |
Se 0<p=<78, esegui la mappatura ai tipi decimali con parametri. Se p>=79, mappa a STRING |
Oracle | NVARCHAR2 |
STRING |
Oracle | RAW |
STRING |
Oracle | ROWID |
STRING |
Oracle | SDO_GEOMETRY |
UNSUPPORTED |
Oracle | SMALLINT |
INT64 |
Oracle | TIMESTAMP |
TIMESTAMP
|
Oracle | TIMESTAMP WITH TIME ZONE |
TIMESTAMP
|
Oracle | UDT (user-defined type) |
UNSUPPORTED |
Oracle | UROWID |
STRING |
Oracle | VARCHAR |
STRING |
Oracle | VARCHAR2 |
STRING |
Oracle | XMLTYPE |
UNSUPPORTED |
PostgreSQL | ARRAY |
JSON
|
PostgreSQL | BIGINT |
INT64 |
PostgreSQL | BIT |
BYTES |
PostgreSQL | BIT_VARYING |
BYTES |
PostgreSQL | BOOLEAN |
BOOLEAN |
PostgreSQL | BOX |
UNSUPPORTED |
PostgreSQL | BYTEA |
BYTES |
PostgreSQL | CHARACTER |
STRING |
PostgreSQL | CHARACTER_VARYING |
STRING |
PostgreSQL | CIDR |
STRING |
PostgreSQL | CIRCLE |
UNSUPPORTED |
PostgreSQL | DATE |
DATE |
PostgreSQL | DOUBLE_PRECISION |
FLOAT64 |
PostgreSQL | ENUM |
STRING |
PostgreSQL | INET |
STRING |
PostgreSQL | INTEGER |
INT64 |
PostgreSQL | INTERVAL |
INTERVAL |
PostgreSQL | JSON |
JSON |
PostgreSQL | JSONB |
JSON |
PostgreSQL | LINE |
UNSUPPORTED |
PostgreSQL | LSEG |
UNSUPPORTED |
PostgreSQL | MACADDR |
STRING |
PostgreSQL | MONEY |
FLOAT64 |
PostgreSQL | NUMERIC |
Se la precisione = -1 , STRING (i tipi NUMERIC di BigQuery richiedono una precisione fissa). In caso contrario, BIGNUMERIC /NUMERIC . Per ulteriori informazioni, consulta la sezione Numeri con precisione arbitraria nella documentazione di PostgreSQL. |
PostgreSQL | OID |
INT64 |
PostgreSQL | PATH |
UNSUPPORTED |
PostgreSQL | POINT |
UNSUPPORTED |
PostgreSQL | POLYGON |
UNSUPPORTED |
PostgreSQL | REAL |
FLOAT64 |
PostgreSQL | SMALLINT |
INT64 |
PostgreSQL | SMALLSERIAL |
INT64 |
PostgreSQL | SERIAL |
INT64 |
PostgreSQL | TEXT |
STRING |
PostgreSQL | TIME |
TIME |
PostgreSQL | TIMESTAMP |
TIMESTAMP |
PostgreSQL | TIMESTAMP_WITH_TIMEZONE |
TIMESTAMP |
PostgreSQL | TIME_WITH_TIMEZONE |
TIME |
PostgreSQL | TSQUERY |
STRING |
PostgreSQL | TSVECTOR |
STRING |
PostgreSQL | TXID_SNAPSHOT |
STRING |
PostgreSQL | UUID |
STRING |
PostgreSQL | XML |
STRING |
SQL Server | BIGINT |
INT64 |
SQL Server | BINARY |
BYTES |
SQL Server | BIT |
BOOL |
SQL Server | CHAR |
STRING |
SQL Server | DATE |
DATE |
SQL Server | DATETIME2 |
DATETIME |
SQL Server | DATETIME |
DATETIME |
SQL Server | DATETIMEOFFSET |
TIMESTAMP |
SQL Server | DECIMAL |
BIGNUMERIC |
SQL Server | FLOAT |
FLOAT64 |
SQL Server | IMAGE |
BYTES |
SQL Server | INT |
INT64 |
SQL Server | MONEY |
BIGNUMERIC |
SQL Server | NCHAR |
STRING |
SQL Server | NTEXT |
STRING |
SQL Server | NUMERIC |
BIGNUMERIC |
SQL Server | NVARCHAR |
STRING |
SQL Server | NVARCHAR(MAX) |
STRING |
SQL Server | REAL |
FLOAT64 |
SQL Server | SMALLDATETIME |
DATETIME |
SQL Server | SMALLINT |
INT64 |
SQL Server | SMALLMONEY |
NUMERIC |
SQL Server | TEXT |
STRING |
SQL Server | TIME |
TIME |
SQL Server | TIMESTAMP /ROWVERSION |
BYTES |
SQL Server | TINYINT |
INT64 |
SQL Server | UNIQUEIDENTIFIER |
STRING |
SQL Server | VARBINARY |
BYTES |
SQL Server | VARBINARY(MAX) |
BYTES |
SQL Server | VARCHAR |
STRING |
SQL Server | VARCHAR(MAX) |
STRING |
SQL Server | XML |
STRING |
Esegui una query su un array PostgreSQL come tipo di dati array BigQuery
Se preferisci eseguire query su un array PostgreSQL come tipo di dati ARRAY
di BigQuery,
puoi convertire i valori JSON
in un array BigQuery utilizzando la funzione JSON_VALUE_ARRAY
di BigQuery:
SELECT ARRAY(SELECT CAST(element AS TYPE) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element)AS array_col
Sostituisci quanto segue:
TYPE: il tipo BigQuery che corrisponde al tipo di elemento nell'array di origine PostgreSQL. Ad esempio, se il tipo di origine è un array di valori
BIGINT
, sostituisci TYPE conINT64
.Per ulteriori informazioni su come mappare i tipi di dati, consulta Mappa i tipi di dati.
BQ_COLUMN_NAME: il nome della colonna pertinente nella tabella BigQuery.
Esistono due eccezioni al modo in cui vengono convertiti i valori:
Per gli array di valori
BIT
,BIT_VARYING
oBYTEA
nella colonna di origine, esegui la seguente query:SELECT ARRAY(SELECT FROM_BASE64(element) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element)
AS array_of_bytes Per gli array di valori
JSON
oJSONB
nella colonna di origine, utilizza la funzioneJSON_QUERY_ARRAY
:SELECT ARRAY(SELECT element FROM UNNEST(JSON_QUERY_ARRAY(BQ_COLUMN_NAME,'$')) AS element)
AS array_of_jsons
Limitazioni note
I limiti noti per l'utilizzo di BigQuery come destinazione includono:
- Puoi replicare i dati solo in un set di dati BigQuery che si trova nello stesso Google Cloud progetto dello stream di Datastream.
- Per impostazione predefinita, Datastream non supporta l'aggiunta di una chiave primaria a una tabella già replicata in BigQuery senza una chiave primaria o la rimozione di una chiave primaria da una tabella replicata in BigQuery con una chiave primaria. Se devi apportare queste modifiche, contatta l'Assistenza Google. Per informazioni su come modificare la definizione della chiave primaria per una tabella di origine che ha già una chiave primaria, consulta Diagnosticare i problemi.
Le chiavi principali in BigQuery devono essere dei seguenti tipi di dati:
DATE
BOOL
GEOGRAPHY
INT64
NUMERIC
BIGNUMERIC
STRING
TIMESTAMP
DATETIME
Le tabelle che contengono chiavi primarie di tipi di dati non supportati non vengono replicate da Datastream.
BigQuery non supporta i nomi di tabella con i caratteri
.
,$
,/
,@
o+
. Datastream sostituisce questi caratteri con trattini bassi durante la creazione delle tabelle di destinazione.Ad esempio,
table.name
nel database di origine diventatable_name
in BigQuery.Per ulteriori informazioni sui nomi delle tabelle in BigQuery, consulta Nomi delle tabelle.
- BigQuery non supporta più di quattro colonne di clustering. Quando replichi una tabella con più di quattro colonne di chiave primaria, Datastream utilizza quattro colonne di chiave primaria come colonne di clustering.
- Datastream mappa i valori letterali di date e ore fuori intervallo, come i tipi di date di PostgreSQL infinito, ai seguenti valori:
DATE
positivo al valore di9999-12-31
DATE
negativo al valore di0001-01-01
TIMESTAMP
positivo al valore di9999-12-31 23:59:59.999000 UTC
TIMESTAMP
negativo al valore di0001-01-01 00:00:00 UTC
- BigQuery non supporta le tabelle in streaming con chiavi primarie di tipi di dati
FLOAT
oREAL
. Queste tabelle non vengono replicate.
Per scoprire di più sui tipi e sugli intervalli di date di BigQuery, consulta Tipi di dati.
Passaggi successivi
- Scopri come replicare i dati da un database di origine ai set di dati BigQuery utilizzando Datastream.