Questa pagina descrive come configurare la destinazione BigQuery per trasmettere dati da un database di origine utilizzando Datastream.
Configura i set di dati di destinazione
Quando configuri i set di dati per la destinazione BigQuery, puoi selezionare una delle seguenti opzioni:
Set di dati per ogni schema: il set di dati viene selezionato o creato nella località BigQuery specificata in base al nome dello schema dell'origine. Di conseguenza, per ogni schema nell'origine, Datastream crea automaticamente un set di dati in BigQuery.
Se selezioni questa opzione, Datastream crea un set di dati nel progetto che contiene il flusso.
Ad esempio, se hai un'origine MySQL e questa origine ha un database
mydb
e una tabellaemployees
all'interno del database, Datastream crea il set di datimydb
e la tabellaemployees
in BigQuery.Singolo set di dati per tutti gli schemi: puoi selezionare un set di dati BigQuery per il flusso. Datastream trasmette tutti i dati in questo set di dati. Per il set di dati selezionato, Datastream crea tutte le tabelle come
<schema>_<table>
.Ad esempio, se hai un'origine MySQL e questa origine ha un database
mydb
e una tabellaemployees
all'interno del database, Datastream crea la tabellamydb_employees
nel set di dati che selezioni.
Comportamento di scrittura
Datastream aggiunge una colonna STRUCT
denominata datastream_metadata
a ogni tabella scritta nella destinazione BigQuery.
Se una tabella contiene una chiave primaria all'origine, la colonna contiene i seguenti campi:
UUID:
Questo campo ha il tipo di datistring
.SOURCE_TIMESTAMP:
Questo campo ha il tipo di datiinteger
.
Se una tabella non ha una chiave primaria, la colonna contiene un campo aggiuntivo: IS_DELETED
. Questo campo contiene il tipo di dati boolean
e indica se i dati che Datastream trasmette alla destinazione sono associati a un'operazione DELETE
nell'origine. Le tabelle senza chiavi primarie sono di sola aggiunta.
La dimensione massima degli eventi quando trasmetti i dati in BigQuery è 20 MB.
Utilizzare le tabelle BigQuery con l'opzione max_staleness
Nell'ambito dell'importazione quasi in tempo reale, Datastream utilizza il supporto integrato di BigQuery per operazioni di upsert, come l'aggiornamento, l'inserimento e l'eliminazione dei dati. Le operazioni di upsert consentono di aggiornare in modo dinamico la destinazione BigQuery man mano che le righe vengono aggiunte, modificate o eliminate. Datastream trasmette queste operazioni di upsert nella tabella di destinazione utilizzando l'API Storage Write di BigQuery.
Specifica il limite di inattività dei dati
BigQuery applica le modifiche dell'origine in background su base continuativa o al momento dell'esecuzione delle query, secondo il limite di obsolescenza dei dati configurato. Quando Datastream crea una nuova tabella in BigQuery, l'opzione max_staleness
della tabella viene impostata in base al valore del limite di inattività dei dati attuale per il flusso.
Per saperne di più sull'utilizzo delle tabelle BigQuery con l'opzione max_staleness
, consulta Inattività della tabella.
Controllare i costi di BigQuery
I costi di BigQuery vengono addebitati separatamente da Datastream. Per scoprire come controllare i costi di BigQuery, consulta Prezzi di BigQuery CDC.
Mappa i tipi di dati
La seguente tabella elenca le conversioni dei tipi di dati dai database di origine supportati alla destinazione BigQuery.
Database di origine | Tipo di dati di origine | Tipo di dati BigQuery |
---|---|---|
MySQL | BIGINT (unsigned) |
NUMERIC |
MySQL | BINARY(size) |
STRING (hex encoded) |
MySQL | BIT(size) |
INT64 |
MySQL | BLOB(size) |
STRING (hex encoded) |
MySQL | BOOL |
INT64 |
MySQL | CHAR(size) |
STRING |
MySQL | DATE |
DATE |
MySQL | DATETIME(fsp) |
DATETIME |
MySQL | DECIMAL(precision, scale) |
Se il valore di precisione è <=38 e il valore della scala è <=9, allora NUMERIC . In caso contrario BIGNUMERIC |
MySQL | DOUBLE(size, d) |
FLOAT64 |
MySQL | ENUM(val1, val2, val3, ...) |
STRING |
MySQL | FLOAT(precision) |
FLOAT64 |
MySQL | FLOAT(size, d) |
FLOAT64 |
MySQL | INTEGER(size) |
INT64 |
MySQL |
|
JSON
|
MySQL | LONGBLOB |
STRING (hex encoded) |
MySQL | LONGTEXT |
STRING (hex encoded) |
MySQL | MEDIUMBLOB |
STRING (hex encoded) |
MySQL | MEDIUMINT(size) |
INT64 |
MySQL | MEDIUMTEXT |
STRING |
MySQL | SET(val1, val2, val3, ...) |
STRING |
MySQL | SMALLINT(size) |
INT64 |
MySQL | TEXT(size) |
STRING |
MySQL | TIME(fsp) |
INTERVAL |
MySQL | TIMESTAMP(fsp) |
TIMESTAMP |
MySQL | TINYBLOB |
STRING (hex encoded) |
MySQL | TINYINT(size) |
INT64 |
MySQL | TINYTEXT |
STRING |
MySQL | VARBINARY(size) |
STRING (hex encoded) |
MySQL | VARCHAR |
STRING |
MySQL | YEAR |
INT64 |
Oracle | ANYDATA |
UNSUPPORTED |
Oracle | BFILE |
STRING |
Oracle | BINARY DOUBLE |
FLOAT64 |
Oracle | BINARY FLOAT |
FLOAT64 |
Oracle | BLOB |
BYTES |
Oracle | CHAR |
STRING |
Oracle | CLOB |
STRING |
Oracle | DATE |
DATETIME
|
Oracle | DOUBLE PRECISION |
FLOAT64 |
Oracle | FLOAT(p) |
FLOAT64 |
Oracle | INTERVAL DAY TO SECOND |
UNSUPPORTED |
Oracle | INTERVAL YEAR TO MONTH |
UNSUPPORTED |
Oracle | LONG /LONG RAW |
STRING |
Oracle | NCHAR |
STRING |
Oracle | NCLOB |
STRING |
Oracle | NUMBER(precision, scale>0) |
Se 0<p=<78, esegui la mappatura ai tipi decimali con parametri. Se p>=79, mappa a STRING |
Oracle | NVARCHAR2 |
STRING |
Oracle | RAW |
STRING |
Oracle | ROWID |
STRING |
Oracle | SDO_GEOMETRY |
UNSUPPORTED |
Oracle | SMALLINT |
INT64 |
Oracle | TIMESTAMP |
TIMESTAMP
|
Oracle | TIMESTAMP WITH TIME ZONE |
TIMESTAMP
|
Oracle | UDT (user-defined type) |
UNSUPPORTED |
Oracle | UROWID |
STRING |
Oracle | VARCHAR |
STRING |
Oracle | VARCHAR2 |
STRING |
Oracle | XMLTYPE |
UNSUPPORTED |
PostgreSQL | ARRAY |
JSON
|
PostgreSQL | BIGINT |
INT64 |
PostgreSQL | BIT |
BYTES |
PostgreSQL | BIT_VARYING |
BYTES |
PostgreSQL | BOOLEAN |
BOOLEAN |
PostgreSQL | BOX |
UNSUPPORTED |
PostgreSQL | BYTEA |
BYTES |
PostgreSQL | CHARACTER |
STRING |
PostgreSQL | CHARACTER_VARYING |
STRING |
PostgreSQL | CIDR |
STRING |
PostgreSQL | CIRCLE |
UNSUPPORTED |
PostgreSQL | DATE |
DATE |
PostgreSQL | DOUBLE_PRECISION |
FLOAT64 |
PostgreSQL | ENUM |
STRING |
PostgreSQL | INET |
STRING |
PostgreSQL | INTEGER |
INT64 |
PostgreSQL | INTERVAL |
INTERVAL |
PostgreSQL | JSON |
JSON |
PostgreSQL | JSONB |
JSON |
PostgreSQL | LINE |
UNSUPPORTED |
PostgreSQL | LSEG |
UNSUPPORTED |
PostgreSQL | MACADDR |
STRING |
PostgreSQL | MONEY |
FLOAT64 |
PostgreSQL | NUMERIC |
Se precisione = -1 , allora STRING (i tipi NUMERIC di BigQuery richiedono una precisione fissa). In caso contrario, BIGNUMERIC /NUMERIC . Per saperne di più, consulta la sezione Numeri di precisione arbitraria nella documentazione di PostgreSQL. |
PostgreSQL | OID |
INT64 |
PostgreSQL | PATH |
UNSUPPORTED |
PostgreSQL | POINT |
UNSUPPORTED |
PostgreSQL | POLYGON |
UNSUPPORTED |
PostgreSQL | REAL |
FLOAT64 |
PostgreSQL | SMALLINT |
INT64 |
PostgreSQL | SMALLSERIAL |
INT64 |
PostgreSQL | SERIAL |
INT64 |
PostgreSQL | TEXT |
STRING |
PostgreSQL | TIME |
TIME |
PostgreSQL | TIMESTAMP |
TIMESTAMP |
PostgreSQL | TIMESTAMP_WITH_TIMEZONE |
TIMESTAMP |
PostgreSQL | TIME_WITH_TIMEZONE |
TIME |
PostgreSQL | TSQUERY |
STRING |
PostgreSQL | TSVECTOR |
STRING |
PostgreSQL | TXID_SNAPSHOT |
STRING |
PostgreSQL | UUID |
STRING |
PostgreSQL | XML |
STRING |
SQL Server | BIGINT |
INT64 |
SQL Server | BINARY |
BYTES |
SQL Server | BIT |
BOOL |
SQL Server | CHAR |
STRING |
SQL Server | DATE |
DATE |
SQL Server | DATETIME2 |
DATETIME |
SQL Server | DATETIME |
DATETIME |
SQL Server | DATETIMEOFFSET |
TIMESTAMP |
SQL Server | DECIMAL |
BIGNUMERIC |
SQL Server | FLOAT |
FLOAT64 |
SQL Server | IMAGE |
BYTES |
SQL Server | INT |
INT64 |
SQL Server | MONEY |
BIGNUMERIC |
SQL Server | NCHAR |
STRING |
SQL Server | NTEXT |
STRING |
SQL Server | NUMERIC |
BIGNUMERIC |
SQL Server | NVARCHAR |
STRING |
SQL Server | NVARCHAR(MAX) |
STRING |
SQL Server | REAL |
FLOAT64 |
SQL Server | SMALLDATETIME |
DATETIME |
SQL Server | SMALLINT |
INT64 |
SQL Server | SMALLMONEY |
NUMERIC |
SQL Server | TEXT |
STRING |
SQL Server | TIME |
TIME |
SQL Server | TIMESTAMP /ROWVERSION |
BYTES |
SQL Server | TINYINT |
INT64 |
SQL Server | UNIQUEIDENTIFIER |
STRING |
SQL Server | VARBINARY |
BYTES |
SQL Server | VARBINARY(MAX) |
BYTES |
SQL Server | VARCHAR |
STRING |
SQL Server | VARCHAR(MAX) |
STRING |
SQL Server | XML |
STRING |
Esegui una query su un array PostgreSQL come tipo di dati di un array BigQuery
Se preferisci eseguire una query su un array PostgreSQL come tipo di dati ARRAY
di BigQuery, puoi convertire i valori JSON
in un array BigQuery utilizzando la funzione JSON_VALUE_ARRAY
di BigQuery:
SELECT ARRAY(SELECT CAST(element AS TYPE) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element)AS array_col
Sostituisci quanto segue:
TYPE: il tipo BigQuery che corrisponde al tipo di elemento nell'array di origine PostgreSQL. Ad esempio, se il tipo di origine è un array di valori
BIGINT
, sostituisci TYPE conINT64
.Per ulteriori informazioni su come mappare i tipi di dati, consulta Tipi di dati della mappa.
BQ_COLUMN_NAME: il nome della colonna pertinente nella tabella BigQuery.
Esistono due eccezioni al modo in cui converti i valori:
Per gli array di valori
BIT
,BIT_VARYING
oBYTEA
nella colonna di origine, esegui la seguente query:SELECT ARRAY(SELECT FROM_BASE64(element) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element)
AS array_of_bytes Per gli array di valori
JSON
oJSONB
nella colonna di origine, utilizza la funzioneJSON_QUERY_ARRAY
:SELECT ARRAY(SELECT element FROM UNNEST(JSON_QUERY_ARRAY(BQ_COLUMN_NAME,'$')) AS element)
AS array_of_jsons
Limitazioni note
Le limitazioni note per l'utilizzo di BigQuery come destinazione includono:
- Puoi replicare i dati solo in un set di dati BigQuery che si trova nello stesso progetto Google Cloud del flusso Datastream.
Se una tabella nel database di origine ha una chiave primaria (ad esempio, l'ID utente) e viene apportata una modifica nella tabella in modo che la chiave primaria sia diversa (per questo esempio la chiave primaria è ora l'ID utente e la data), Datastream non può trasmettere questa modifica nella destinazione.
Per fare in modo che Datastream inserisca il flusso della tabella nella destinazione con la chiave primaria modificata, completa i seguenti passaggi:
- Modifica la chiave primaria della tabella del database di origine.
- Controlla la metrica della latenza totale per lo stream e attendi almeno la latenza attuale per assicurarti che eventuali eventi in corso vengano scritti nella destinazione. In questo modo è possibile trasmettere in streaming tutti gli eventi con la chiave primaria originale.
- Mettere in pausa lo streaming.
- Rilascia la tabella nella destinazione.
- Riprendi lo streaming.
- Attiva il backfill nella tabella.
Le chiavi primarie in BigQuery devono essere dei seguenti tipi di dati:
DATE
BOOL
GEOGRAPHY
INT64
NUMERIC
BIGNUMERIC
STRING
TIMESTAMP
DATETIME
Le tabelle che contengono chiavi primarie di tipi di dati non supportati non vengono replicate da Datastream.
BigQuery non supporta i nomi delle tabelle con caratteri
.
,$
,/
,@
o+
. Datastream sostituisce questi caratteri con trattini bassi durante la creazione delle tabelle di destinazione.Ad esempio,
table.name
nel database di origine diventatable_name
in BigQuery.Per saperne di più sui nomi delle tabelle in BigQuery, consulta Denominazione delle tabelle.
- BigQuery non supporta più di quattro colonne di clustering. Quando replica una tabella con più di quattro colonne di chiave primaria, Datastream utilizza quattro colonne di chiave primaria come colonne di clustering.
- Datastream mappa i valori letterali di data e ora fuori intervallo, come i tipi di data infinito di PostgreSQL ai seguenti valori:
DATE
positivo per il valore di9999-12-31
- Valore di
DATE
negativo pari a0001-01-01
TIMESTAMP
positivo per il valore di9999-12-31 23:59:59.999000 UTC
- Valore di
TIMESTAMP
negativo pari a0001-01-01 00:00:00 UTC
- BigQuery non supporta le tabelle di inserimento di flussi con chiavi primarie di tipo
FLOAT
oREAL
. Queste tabelle non vengono replicate.
Per scoprire di più sui tipi di date e sugli intervalli di date di BigQuery, consulta Tipi di dati.