Esta página descreve como configurar o destino do BigQuery para fazer streaming de dados de um banco de dados de origem usando o Datastream.
Configurar os conjuntos de dados de destino
Ao configurar conjuntos de dados para o destino do BigQuery, você pode selecionar uma das seguintes opções:
Conjunto de dados para cada esquema: o conjunto de dados é selecionado ou criado no local do BigQuery especificado com base no nome do esquema da origem. Como resultado, para cada esquema na origem, o Datastream cria automaticamente um conjunto de dados no BigQuery.
Por exemplo, se você tiver uma origem MySQL com um banco de dados
mydb
e uma tabelaemployees
, o Datastream vai criar o conjunto de dadosmydb
e a tabelaemployees
no BigQuery.Se você selecionar essa opção, o Datastream vai criar conjuntos de dados no projeto que contém a transmissão. Embora não seja necessário criar os conjuntos de dados na mesma região do stream, recomendamos manter todos os recursos do stream e os conjuntos de dados na mesma região para otimizar o custo e o desempenho.
Conjunto de dados único para todos os esquemas: é possível selecionar um conjunto de dados do BigQuery para o fluxo. O Datastream transmite todos os dados para esse conjunto. Para o conjunto de dados selecionado, o Datastream cria todas as tabelas como
<schema>_<table>
.Por exemplo, se você tiver uma origem MySQL com um banco de dados
mydb
e uma tabelaemployees
, o Datastream vai criar a tabelamydb_employees
no conjunto de dados selecionado.
Comportamento de gravação
O tamanho máximo de eventos ao transmitir dados para o BigQuery é de 20 MB.
Ao configurar o fluxo, você pode selecionar como o Datastream grava os dados de mudança no BigQuery. Para mais informações, consulte Configurar o modo de gravação.
Configurar o modo de gravação
Há dois modos que podem ser usados para definir como os dados serão gravados no BigQuery:
- Mesclar: é o modo de gravação padrão. Quando selecionado, o BigQuery reflete a forma como seus dados são armazenados no banco de dados de origem. Isso significa que o Datastream grava todas as mudanças nos seus dados no BigQuery, que consolida as alterações com os dados existentes, criando tabelas finais que são réplicas das tabelas de origem. No modo Mesclar, não é mantido nenhum registro histórico dos eventos de mudança. Por exemplo, se você inserir e atualizar uma linha, o BigQuery vai manter apenas os dados atualizados. Se você excluir a linha da tabela de origem, o BigQuery não vai manter nenhum registro dela.
- Somente adição: o modo de gravação somente adição permite adicionar dados ao BigQuery como um fluxo de alterações (eventos
INSERT
,UPDATE-INSERT
,UPDATE-DELETE
eDELETE
). Use esse modo quando precisar manter o estado histórico dos dados. Para entender melhor o modo de gravação somente de adição, considere estes cenários:- Preenchimento inicial: depois do preenchimento inicial, todos os eventos são gravados no BigQuery como eventos do tipo
INSERT
, com o mesmo carimbo de data/hora, identificador universalmente exclusivo (UUID) e número de sequência de alteração. - Atualização da chave primária: quando uma chave primária muda, duas linhas são gravadas no BigQuery:
- Uma linha
UPDATE-DELETE
com a chave primária original - Uma linha
UPDATE-INSERT
com a nova chave primária
- Uma linha
- Atualização de linha: quando você atualiza uma linha, uma única linha
UPDATE-INSERT
é gravada no BigQuery. - Remoção de linha: quando você exclui uma linha, uma única linha
DELETE
é gravada no BigQuery.
- Preenchimento inicial: depois do preenchimento inicial, todos os eventos são gravados no BigQuery como eventos do tipo
Metadados da tabela
O Datastream anexa uma coluna STRUCT
chamada datastream_metadata
a cada tabela gravada no destino do BigQuery.
Modo de gravação de mesclagem
Se uma tabela tiver uma chave primária na origem, a coluna conterá os seguintes campos:
UUID
: este campo tem o tipo de dadosSTRING
.SOURCE_TIMESTAMP
: este campo tem o tipo de dadosINTEGER
.
Se uma tabela não tiver uma chave primária, a coluna conterá um campo adicional: IS_DELETED
. Esse campo tem o tipo de dados BOOLEAN
e indica se os dados transmitidos pelo Datastream para o destino estão associados a uma operação DELETE
na origem. As tabelas sem chaves primárias são somente de adição.
Modo de gravação somente de anexo
A coluna datastream_metadata
contém os mesmos campos para tabelas com e
sem chaves primárias:
UUID
: este campo tem o tipo de dadosSTRING
.SOURCE_TIMESTAMP
: este campo tem o tipo de dadosINTEGER
.CHANGE_SEQUENCE_NUMBER
: este campo tem o tipo de dadosSTRING
. É um número de sequência interno usado pelo Datastream para cada evento de mudança.CHANGE_TYPE
: este campo tem o tipo de dadosSTRING
. Ele indica o tipo do evento de mudança:INSERT
,UPDATE-INSERT
,UPDATE-DELETE
ouDELETE
.SORT_KEYS
: esse campo contém uma matriz de valoresSTRING
. Você pode usar os valores para classificar os eventos de mudança.
Usar tabelas do BigQuery com a opção max_staleness
Como parte da ingestão quase em tempo real, o Datastream usa o suporte integrado do BigQuery para operações de upsert, como atualizar, inserir e excluir dados. Com as operações de upsert, você pode atualizar dinamicamente o destino do BigQuery à medida que as linhas são adicionadas, modificadas ou excluídas. O Datastream transmite essas operações de inserção e atualização na tabela de destino usando a API Storage Write do BigQuery.
Especificar o limite de inatividade dos dados
O BigQuery aplica as modificações da fonte em segundo plano de maneira contínua ou no ambiente de execução da consulta, de acordo com o limite de desatualização de dados configurado. Quando o Datastream cria uma nova tabela no BigQuery, a opção max_staleness
dela é definida de acordo com o valor atual do limite de desatualização dos dados para o fluxo.
Para mais informações sobre como usar tabelas do BigQuery com a opção max_staleness
, consulte Antiguidade da tabela.
Controlar custos do BigQuery
Os custos do BigQuery são cobrados separadamente do Datastream. Para saber como controlar os custos do BigQuery, consulte Preços do CDC do BigQuery.
Mapear tipos de dados
A tabela a seguir lista as conversões de tipos de dados de bancos de dados de origem com suporte para o destino do BigQuery.
Banco de dados de origem | Tipo de dados de origem | Tipo de dados do BigQuery |
---|---|---|
MySQL | BIGINT(size) |
LONG |
MySQL | BIGINT (unsigned) |
DECIMAL |
MySQL | BINARY(size) |
STRING (hex encoded) |
MySQL | BIT(size) |
INT64 |
MySQL | BLOB(size) |
STRING (hex encoded) |
MySQL | BOOL |
INT64 |
MySQL | CHAR(size) |
STRING |
MySQL | DATE |
DATE |
MySQL | DATETIME(fsp) |
DATETIME |
MySQL | DECIMAL(precision, scale) |
Se o valor de precisão for <=38 e o valor da escala for <=9, então NUMERIC . Caso contrário, BIGNUMERIC |
MySQL | DOUBLE(size, d) |
FLOAT64 |
MySQL | ENUM(val1, val2, val3, ...) |
STRING |
MySQL | FLOAT(precision) |
FLOAT64 |
MySQL | FLOAT(size, d) |
FLOAT64 |
MySQL | INTEGER(size) |
INT64 |
MySQL | INTEGER (unsigned) |
LONG |
MySQL |
|
JSON
|
MySQL | LONGBLOB |
STRING (hex encoded) |
MySQL | LONGTEXT |
STRING |
MySQL | MEDIUMBLOB |
STRING (hex encoded) |
MySQL | MEDIUMINT(size) |
INT64 |
MySQL | MEDIUMTEXT |
STRING |
MySQL | SET(val1, val2, val3, ...) |
STRING |
MySQL | SMALLINT(size) |
INT64 |
MySQL | TEXT(size) |
STRING |
MySQL | TIME(fsp) |
INTERVAL |
MySQL | TIMESTAMP(fsp) |
TIMESTAMP |
MySQL | TINYBLOB |
STRING (hex encoded) |
MySQL | TINYINT(size) |
INT64 |
MySQL | TINYTEXT |
STRING |
MySQL | VARBINARY(size) |
STRING (hex encoded) |
MySQL | VARCHAR |
STRING |
MySQL | YEAR |
INT64 |
Oracle | ANYDATA |
UNSUPPORTED |
Oracle | BFILE |
STRING |
Oracle | BINARY DOUBLE |
FLOAT64 |
Oracle | BINARY FLOAT |
FLOAT64 |
Oracle | BLOB |
BYTES |
Oracle | CHAR |
STRING |
Oracle | CLOB |
STRING |
Oracle | DATE |
DATETIME
|
Oracle | DOUBLE PRECISION |
FLOAT64 |
Oracle | FLOAT(p) |
FLOAT64 |
Oracle | INTERVAL DAY TO SECOND |
UNSUPPORTED |
Oracle | INTERVAL YEAR TO MONTH |
UNSUPPORTED |
Oracle | LONG /LONG RAW |
STRING |
Oracle | NCHAR |
STRING |
Oracle | NCLOB |
STRING |
Oracle | NUMBER(precision, scale>0) |
Se 0<p=<78, mapeie para tipos decimais parametrizados. Se p>=79, mapeie para STRING |
Oracle | NVARCHAR2 |
STRING |
Oracle | RAW |
STRING |
Oracle | ROWID |
STRING |
Oracle | SDO_GEOMETRY |
UNSUPPORTED |
Oracle | SMALLINT |
INT64 |
Oracle | TIMESTAMP |
TIMESTAMP
|
Oracle | TIMESTAMP WITH TIME ZONE |
TIMESTAMP
|
Oracle | UDT (user-defined type) |
UNSUPPORTED |
Oracle | UROWID |
STRING |
Oracle | VARCHAR |
STRING |
Oracle | VARCHAR2 |
STRING |
Oracle | XMLTYPE |
UNSUPPORTED |
PostgreSQL | ARRAY |
JSON
|
PostgreSQL | BIGINT |
INT64 |
PostgreSQL | BIT |
BYTES |
PostgreSQL | BIT_VARYING |
BYTES |
PostgreSQL | BOOLEAN |
BOOLEAN |
PostgreSQL | BOX |
UNSUPPORTED |
PostgreSQL | BYTEA |
BYTES |
PostgreSQL | CHARACTER |
STRING |
PostgreSQL | CHARACTER_VARYING |
STRING |
PostgreSQL | CIDR |
STRING |
PostgreSQL | CIRCLE |
UNSUPPORTED |
PostgreSQL | DATE |
DATE |
PostgreSQL | DOUBLE_PRECISION |
FLOAT64 |
PostgreSQL | ENUM |
STRING |
PostgreSQL | INET |
STRING |
PostgreSQL | INTEGER |
INT64 |
PostgreSQL | INTERVAL |
INTERVAL |
PostgreSQL | JSON |
JSON |
PostgreSQL | JSONB |
JSON |
PostgreSQL | LINE |
UNSUPPORTED |
PostgreSQL | LSEG |
UNSUPPORTED |
PostgreSQL | MACADDR |
STRING |
PostgreSQL | MONEY |
FLOAT64 |
PostgreSQL | NUMERIC |
Se precisão = -1 , então STRING (os tipos NUMERIC do BigQuery exigem precisão fixa). Caso contrário, BIGNUMERIC /NUMERIC . Para mais informações, consulte a seção Números de precisão arbitrária na documentação do PostgreSQL. |
PostgreSQL | OID |
INT64 |
PostgreSQL | PATH |
UNSUPPORTED |
PostgreSQL | POINT |
UNSUPPORTED |
PostgreSQL | POLYGON |
UNSUPPORTED |
PostgreSQL | REAL |
FLOAT64 |
PostgreSQL | SMALLINT |
INT64 |
PostgreSQL | SMALLSERIAL |
INT64 |
PostgreSQL | SERIAL |
INT64 |
PostgreSQL | TEXT |
STRING |
PostgreSQL | TIME |
TIME |
PostgreSQL | TIMESTAMP |
TIMESTAMP |
PostgreSQL | TIMESTAMP_WITH_TIMEZONE |
TIMESTAMP |
PostgreSQL | TIME_WITH_TIMEZONE |
TIME |
PostgreSQL | TSQUERY |
STRING |
PostgreSQL | TSVECTOR |
STRING |
PostgreSQL | TXID_SNAPSHOT |
STRING |
PostgreSQL | UUID |
STRING |
PostgreSQL | XML |
STRING |
SQL Server | BIGINT |
INT64 |
SQL Server | BINARY |
BYTES |
SQL Server | BIT |
BOOL |
SQL Server | CHAR |
STRING |
SQL Server | DATE |
DATE |
SQL Server | DATETIME2 |
DATETIME |
SQL Server | DATETIME |
DATETIME |
SQL Server | DATETIMEOFFSET |
TIMESTAMP |
SQL Server | DECIMAL |
BIGNUMERIC |
SQL Server | FLOAT |
FLOAT64 |
SQL Server | IMAGE |
BYTES |
SQL Server | INT |
INT64 |
SQL Server | MONEY |
BIGNUMERIC |
SQL Server | NCHAR |
STRING |
SQL Server | NTEXT |
STRING |
SQL Server | NUMERIC |
BIGNUMERIC |
SQL Server | NVARCHAR |
STRING |
SQL Server | NVARCHAR(MAX) |
STRING |
SQL Server | REAL |
FLOAT64 |
SQL Server | SMALLDATETIME |
DATETIME |
SQL Server | SMALLINT |
INT64 |
SQL Server | SMALLMONEY |
NUMERIC |
SQL Server | TEXT |
STRING |
SQL Server | TIME |
TIME |
SQL Server | TIMESTAMP /ROWVERSION |
BYTES |
SQL Server | TINYINT |
INT64 |
SQL Server | UNIQUEIDENTIFIER |
STRING |
SQL Server | VARBINARY |
BYTES |
SQL Server | VARBINARY(MAX) |
BYTES |
SQL Server | VARCHAR |
STRING |
SQL Server | VARCHAR(MAX) |
STRING |
SQL Server | XML |
STRING |
Consultar uma matriz do PostgreSQL como um tipo de dados de matriz do BigQuery
Se você preferir consultar uma matriz do PostgreSQL como um tipo de dados ARRAY
do BigQuery,
é possível converter os valores JSON
em uma matriz do BigQuery usando a função JSON_VALUE_ARRAY
do BigQuery:
SELECT ARRAY(SELECT CAST(element AS TYPE) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element)AS array_col
Substitua:
TYPE: o tipo do BigQuery que corresponde ao tipo de elemento na matriz de origem do PostgreSQL. Por exemplo, se o tipo de origem for uma matriz de valores
BIGINT
, substitua TYPE porINT64
.Para mais informações sobre como mapear os tipos de dados, consulte Mapear tipos de dados.
BQ_COLUMN_NAME: o nome da coluna relevante na tabela do BigQuery.
Há duas exceções à forma como você converte os valores:
Para matrizes de valores
BIT
,BIT_VARYING
ouBYTEA
na coluna de origem, execute a consulta a seguir:SELECT ARRAY(SELECT FROM_BASE64(element) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element)
AS array_of_bytes Para matrizes de valores
JSON
ouJSONB
na coluna de origem, use a funçãoJSON_QUERY_ARRAY
:SELECT ARRAY(SELECT element FROM UNNEST(JSON_QUERY_ARRAY(BQ_COLUMN_NAME,'$')) AS element)
AS array_of_jsons
Limitações conhecidas
Limitações conhecidas para o uso do BigQuery como destino incluem:
- Só é possível replicar dados em um conjunto de dados do BigQuery que esteja no mesmo Google Cloud projeto que o fluxo do Datastream.
- Por padrão, o Datastream não oferece suporte à adição de uma chave primária a uma tabela que já foi replicada no BigQuery sem uma chave primária ou à remoção de uma chave primária de uma tabela replicada no BigQuery com uma chave primária. Se você precisar fazer essas mudanças, entre em contato com o Suporte do Google. Para saber como alterar a definição de chave primária de uma tabela de origem que já tem uma chave primária, consulte Diagnóstico de problemas.
As chaves primárias no BigQuery precisam ser dos seguintes tipos de dados:
DATE
BOOL
GEOGRAPHY
INT64
NUMERIC
BIGNUMERIC
STRING
TIMESTAMP
DATETIME
As tabelas que contêm chaves primárias de tipos de dados sem suporte não são replicadas pelo Datastream.
O BigQuery não aceita nomes de tabela com os caracteres
.
,$
,/
,@
ou+
. O Datastream substitui esses caracteres por sublinhados ao criar tabelas de destino.Por exemplo,
table.name
no banco de dados de origem se tornatable_name
no BigQuery.Para mais informações sobre nomes de tabelas no BigQuery, consulte Nomenclatura de tabelas.
- O BigQuery não oferece suporte a mais de quatro colunas de agrupamento. Ao replicar uma tabela com mais de quatro colunas de chave primária, o Datastream usa quatro colunas de chave primária como as colunas de agrupamento.
- O Datastream mapeia literais de data e hora fora do intervalo, como tipos de data infinitos do PostgreSQL, para os seguintes valores:
DATE
positivo para o valor de9999-12-31
DATE
negativo para o valor de0001-01-01
TIMESTAMP
positivo para o valor de9999-12-31 23:59:59.999000 UTC
TIMESTAMP
negativo para o valor de0001-01-01 00:00:00 UTC
- O BigQuery não oferece suporte a tabelas de streaming com chaves primárias dos tipos de dados
FLOAT
ouREAL
. Essas tabelas não são replicadas.
Para saber mais sobre os tipos e os intervalos de datas do BigQuery, consulte Tipos de dados.
A seguir
- Saiba como replicar dados de um banco de dados de origem para os conjuntos de dados do BigQuery usando o Datastream.