Nesta página, descrevemos como configurar seu destino do BigQuery para fazer streaming de dados de um banco de dados de origem usando o Datastream.
Configurar os conjuntos de dados de destino
Ao configurar conjuntos de dados para o destino do BigQuery, você pode selecionar uma das seguintes opções:
Conjunto de dados para cada esquema: o conjunto de dados é selecionado ou criado no local do BigQuery especificado, com base no nome do esquema da origem. Como resultado, para cada esquema na origem, o Datastream cria um conjunto de dados no BigQuery automaticamente.
Se você selecionar essa opção, o Datastream criará conjuntos de dados no projeto que contém o stream.
Por exemplo, se você tiver uma fonte MySQL e essa fonte tiver um banco de dados
mydb
e uma tabelaemployees
, o Datastream vai criar o conjunto de dadosmydb
e a tabelaemployees
no BigQuery.Conjunto de dados único para todos os esquemas: é possível selecionar um conjunto de dados do BigQuery para o stream. O Datastream envia todos os dados para esse conjunto. Para o conjunto de dados selecionado, o Datastream cria todas as tabelas como
<schema>_<table>
.Por exemplo, se você tiver uma fonte MySQL e essa fonte tiver um banco de dados
mydb
e uma tabelaemployees
, o Datastream criará a tabelamydb_employees
no conjunto de dados selecionado.
Comportamento de gravação
O Datastream anexa uma coluna STRUCT
chamada datastream_metadata
a cada tabela gravada no destino do BigQuery.
Se uma tabela tiver uma chave primária na origem, a coluna conterá os seguintes campos:
UUID:
Este campo tem o tipo de dadosstring
.SOURCE_TIMESTAMP:
Este campo tem o tipo de dadosinteger
.
Se uma tabela não tiver uma chave primária, a coluna conterá um campo adicional: IS_DELETED
. Esse campo tem o tipo de dados boolean
e indica se os dados que o Datastream transmite para o destino estão associados a uma operação DELETE
na origem. As tabelas sem chaves primárias são somente de anexação.
O tamanho máximo do evento ao fazer streaming de dados para o BigQuery é de 20 MB.
Usar tabelas do BigQuery com a opção max_staleness
Como parte da ingestão quase em tempo real, o Datastream usa o suporte integrado do BigQuery para operações de inserção, atualização, inserção e exclusão de dados. As operações de inserção permitem atualizar dinamicamente o destino do BigQuery conforme as linhas são adicionadas, modificadas ou excluídas. O Datastream transmite essas operações de inserção para a tabela de destino usando a API Storage Write do BigQuery.
Especificar o limite de desatualização dos dados
O BigQuery aplica modificações de origem em segundo plano de maneira contínua ou no ambiente de execução da consulta, de acordo com o limite de desatualização dos dados configurado. Quando o Datastream cria uma nova tabela no BigQuery, a opção max_staleness
dela é definida de acordo com o valor do limite de desatualização dos dados do fluxo.
Para mais informações sobre como usar as tabelas do BigQuery com a opção max_staleness
, consulte Inatividade da tabela.
Controlar os custos do BigQuery
Os custos do BigQuery são cobrados separadamente do Datastream. Para aprender a controlar os custos do BigQuery, consulte Preços do CDC do BigQuery.
Tipos de dados de mapas
A tabela a seguir lista as conversões de tipos de dados de bancos de dados de origem compatíveis para o destino do BigQuery.
Banco de dados de origem | Tipo de dados de origem | Tipo de dados do BigQuery |
---|---|---|
MySQL | BIGINT (unsigned) |
NUMERIC |
MySQL | BINARY(size) |
STRING (hex encoded) |
MySQL | BIT(size) |
INT64 |
MySQL | BLOB(size) |
STRING (hex encoded) |
MySQL | BOOL |
INT64 |
MySQL | CHAR(size) |
STRING |
MySQL | DATE |
DATE |
MySQL | DATETIME(fsp) |
DATETIME |
MySQL | DECIMAL(precision, scale) |
Se o valor de precisão for <=38 e o valor da escala for <=9, então NUMERIC . Caso contrário, BIGNUMERIC |
MySQL | DOUBLE(size, d) |
FLOAT64 |
MySQL | ENUM(val1, val2, val3, ...) |
STRING |
MySQL | FLOAT(precision) |
FLOAT64 |
MySQL | FLOAT(size, d) |
FLOAT64 |
MySQL | INTEGER(size) |
INT64 |
MySQL |
|
JSON
|
MySQL | LONGBLOB |
STRING (hex encoded) |
MySQL | LONGTEXT |
STRING (hex encoded) |
MySQL | MEDIUMBLOB |
STRING (hex encoded) |
MySQL | MEDIUMINT(size) |
INT64 |
MySQL | MEDIUMTEXT |
STRING |
MySQL | SET(val1, val2, val3, ...) |
STRING |
MySQL | SMALLINT(size) |
INT64 |
MySQL | TEXT(size) |
STRING |
MySQL | TIME(fsp) |
INTERVAL |
MySQL | TIMESTAMP(fsp) |
TIMESTAMP |
MySQL | TINYBLOB |
STRING (hex encoded) |
MySQL | TINYINT(size) |
INT64 |
MySQL | TINYTEXT |
STRING |
MySQL | VARBINARY(size) |
STRING (hex encoded) |
MySQL | VARCHAR |
STRING |
MySQL | YEAR |
INT64 |
Oracle | ANYDATA |
UNSUPPORTED |
Oracle | BFILE |
STRING |
Oracle | BINARY DOUBLE |
FLOAT64 |
Oracle | BINARY FLOAT |
FLOAT64 |
Oracle | BLOB |
BYTES |
Oracle | CHAR |
STRING |
Oracle | CLOB |
STRING |
Oracle | DATE |
DATETIME
|
Oracle | DOUBLE PRECISION |
FLOAT64 |
Oracle | FLOAT(p) |
FLOAT64 |
Oracle | INTERVAL DAY TO SECOND |
UNSUPPORTED |
Oracle | INTERVAL YEAR TO MONTH |
UNSUPPORTED |
Oracle | LONG /LONG RAW |
STRING |
Oracle | NCHAR |
STRING |
Oracle | NCLOB |
STRING |
Oracle | NUMBER(precision, scale>0) |
Se 0<p=<78, mapeie para tipos decimais parametrizados. Se p>=79, mapeie para STRING |
Oracle | NVARCHAR2 |
STRING |
Oracle | RAW |
STRING |
Oracle | ROWID |
STRING |
Oracle | SDO_GEOMETRY |
UNSUPPORTED |
Oracle | SMALLINT |
INT64 |
Oracle | TIMESTAMP |
TIMESTAMP
|
Oracle | TIMESTAMP WITH TIME ZONE |
TIMESTAMP
|
Oracle | UDT (user-defined type) |
UNSUPPORTED |
Oracle | UROWID |
STRING |
Oracle | VARCHAR |
STRING |
Oracle | VARCHAR2 |
STRING |
Oracle | XMLTYPE |
UNSUPPORTED |
PostgreSQL | ARRAY |
JSON
|
PostgreSQL | BIGINT |
INT64 |
PostgreSQL | BIT |
BYTES |
PostgreSQL | BIT_VARYING |
BYTES |
PostgreSQL | BOOLEAN |
BOOLEAN |
PostgreSQL | BOX |
UNSUPPORTED |
PostgreSQL | BYTEA |
BYTES |
PostgreSQL | CHARACTER |
STRING |
PostgreSQL | CHARACTER_VARYING |
STRING |
PostgreSQL | CIDR |
STRING |
PostgreSQL | CIRCLE |
UNSUPPORTED |
PostgreSQL | DATE |
DATE |
PostgreSQL | DOUBLE_PRECISION |
FLOAT64 |
PostgreSQL | ENUM |
STRING |
PostgreSQL | INET |
STRING |
PostgreSQL | INTEGER |
INT64 |
PostgreSQL | INTERVAL |
INTERVAL |
PostgreSQL | JSON |
JSON |
PostgreSQL | JSONB |
JSON |
PostgreSQL | LINE |
UNSUPPORTED |
PostgreSQL | LSEG |
UNSUPPORTED |
PostgreSQL | MACADDR |
STRING |
PostgreSQL | MONEY |
FLOAT64 |
PostgreSQL | NUMERIC |
Se a precisão for igual a -1 , então STRING (os tipos NUMERIC do BigQuery exigem precisão fixa). Caso contrário, BIGNUMERIC /NUMERIC . Para mais informações, consulte a seção Números de precisão arbitrária na documentação do PostgreSQL. |
PostgreSQL | OID |
INT64 |
PostgreSQL | PATH |
UNSUPPORTED |
PostgreSQL | POINT |
UNSUPPORTED |
PostgreSQL | POLYGON |
UNSUPPORTED |
PostgreSQL | REAL |
FLOAT64 |
PostgreSQL | SMALLINT |
INT64 |
PostgreSQL | SMALLSERIAL |
INT64 |
PostgreSQL | SERIAL |
INT64 |
PostgreSQL | TEXT |
STRING |
PostgreSQL | TIME |
TIME |
PostgreSQL | TIMESTAMP |
TIMESTAMP |
PostgreSQL | TIMESTAMP_WITH_TIMEZONE |
TIMESTAMP |
PostgreSQL | TIME_WITH_TIMEZONE |
TIME |
PostgreSQL | TSQUERY |
STRING |
PostgreSQL | TSVECTOR |
STRING |
PostgreSQL | TXID_SNAPSHOT |
STRING |
PostgreSQL | UUID |
STRING |
PostgreSQL | XML |
STRING |
SQL Server | BIGINT |
INT64 |
SQL Server | BINARY |
BYTES |
SQL Server | BIT |
BOOL |
SQL Server | CHAR |
STRING |
SQL Server | DATE |
DATE |
SQL Server | DATETIME2 |
DATETIME |
SQL Server | DATETIME |
DATETIME |
SQL Server | DATETIMEOFFSET |
TIMESTAMP |
SQL Server | DECIMAL |
BIGNUMERIC |
SQL Server | FLOAT |
FLOAT64 |
SQL Server | IMAGE |
BYTES |
SQL Server | INT |
INT64 |
SQL Server | MONEY |
BIGNUMERIC |
SQL Server | NCHAR |
STRING |
SQL Server | NTEXT |
STRING |
SQL Server | NUMERIC |
BIGNUMERIC |
SQL Server | NVARCHAR |
STRING |
SQL Server | NVARCHAR(MAX) |
STRING |
SQL Server | REAL |
FLOAT64 |
SQL Server | SMALLDATETIME |
DATETIME |
SQL Server | SMALLINT |
INT64 |
SQL Server | SMALLMONEY |
NUMERIC |
SQL Server | TEXT |
STRING |
SQL Server | TIME |
TIME |
SQL Server | TIMESTAMP /ROWVERSION |
BYTES |
SQL Server | TINYINT |
INT64 |
SQL Server | UNIQUEIDENTIFIER |
STRING |
SQL Server | VARBINARY |
BYTES |
SQL Server | VARBINARY(MAX) |
BYTES |
SQL Server | VARCHAR |
STRING |
SQL Server | VARCHAR(MAX) |
STRING |
SQL Server | XML |
STRING |
Consultar uma matriz PostgreSQL como um tipo de dados de matriz do BigQuery
Se preferir consultar uma matriz do PostgreSQL como um tipo de dados ARRAY
do BigQuery, converta os valores JSON
em uma matriz do BigQuery usando a função JSON_VALUE_ARRAY
do BigQuery:
SELECT ARRAY(SELECT CAST(element AS TYPE) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element)AS array_col
Substitua:
TYPE: o tipo do BigQuery que corresponde ao tipo de elemento na matriz de origem do PostgreSQL. Por exemplo, se o tipo de origem for uma matriz de valores
BIGINT
, substitua TYPE porINT64
.Para saber como mapear os tipos de dados, consulte Tipos de dados do mapa.
BQ_COLUMN_NAME: o nome da coluna relevante na tabela do BigQuery.
Há duas exceções na maneira de converter os valores:
Para matrizes de valores
BIT
,BIT_VARYING
ouBYTEA
na coluna de origem, execute a seguinte consulta:SELECT ARRAY(SELECT FROM_BASE64(element) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element)
AS array_of_bytes Para matrizes de valores
JSON
ouJSONB
na coluna de origem, use a funçãoJSON_QUERY_ARRAY
:SELECT ARRAY(SELECT element FROM UNNEST(JSON_QUERY_ARRAY(BQ_COLUMN_NAME,'$')) AS element)
AS array_of_jsons
Limitações conhecidas
Estas são algumas limitações conhecidas do uso do BigQuery como destino:
- Só é possível replicar dados em um conjunto de dados do BigQuery que reside no mesmo projeto do Google Cloud que o stream do Datastream.
Se uma tabela no banco de dados de origem tiver uma chave primária (por exemplo, o ID do usuário) e houver uma alteração na tabela para que a chave primária seja diferente (neste exemplo, a chave primária agora é o ID do usuário e a data), o Datastream não poderá transmitir essa alteração para o destino.
Para que o Datastream transmita a tabela para o destino com a chave primária modificada, siga estas etapas:
- Altere a chave primária da tabela do banco de dados de origem.
- Verifique a métrica de latência total do stream e aguarde pelo menos o tempo de latência atual para garantir que todos os eventos em andamento sejam gravados no destino. Isso permite a transmissão de todos os eventos com a chave primária original.
- Pause a transmissão.
- Solte a tabela no destino.
- Retome a transmissão.
- Acionar o preenchimento na tabela.
As chaves primárias no BigQuery precisam ser dos seguintes tipos de dados:
DATE
BOOL
GEOGRAPHY
INT64
NUMERIC
BIGNUMERIC
STRING
TIMESTAMP
DATETIME
As tabelas que contêm chaves primárias de tipos de dados sem suporte não são replicadas pelo Datastream.
O BigQuery não aceita nomes de tabelas com caracteres
.
,$
,/
,@
ou+
. O Datastream substitui esses caracteres por sublinhados ao criar tabelas de destino.Por exemplo,
table.name
no banco de dados de origem se tornatable_name
no BigQuery.Para mais informações sobre nomes de tabelas no BigQuery, consulte Nomenclatura de tabelas.
- O BigQuery não oferece suporte a mais de quatro colunas de clustering. Ao replicar uma tabela com mais de quatro colunas de chave primária, o Datastream usa quatro colunas de chave primária como colunas de clustering.
- O Datastream mapeia literais de data e hora fora do intervalo, como os tipos de data de infinito do PostgreSQL, para os seguintes valores:
DATE
positivo para o valor de9999-12-31
DATE
negativo ao valor de0001-01-01
TIMESTAMP
positivo para o valor de9999-12-31 23:59:59.999000 UTC
TIMESTAMP
negativo ao valor de0001-01-01 00:00:00 UTC
- O BigQuery não oferece suporte a tabelas de streaming que tenham chaves primárias dos tipos de dados
FLOAT
ouREAL
. Essas tabelas não são replicadas.
Para saber mais sobre os tipos de dados e períodos do BigQuery, consulte Tipos de dados.