Destino do BigQuery

Esta página apresenta uma vista geral do destino do BigQuery. Descreve o comportamento de escrita e as limitações conhecidas do Datastream quando replica dados para o BigQuery.

Comportamento de escrita

  • O tamanho máximo do evento quando transmite dados para o BigQuery é de 20 MB.

  • Quando configura a stream, pode selecionar a forma como o Datastream escreve os dados de alterações no BigQuery. Para mais informações, consulte o artigo Configure o modo de escrita.

Metadados da tabela

O Datastream anexa uma coluna STRUCT denominada datastream_metadata a cada tabela escrita no destino do BigQuery.

Modo de gravação de união

Se uma tabela tiver uma chave principal na origem, a coluna contém os seguintes campos:

  • UUID: este campo tem o tipo de dados STRING.
  • SOURCE_TIMESTAMP: este campo tem o tipo de dados INTEGER.

Se uma tabela não tiver uma chave principal, a coluna contém um campo adicional: IS_DELETED. Este campo tem o tipo de dados BOOLEAN e indica se os dados que o Datastream transmite para o destino estão associados a uma operação DELETE na origem. As tabelas sem chaves principais são apenas de anexação.

Modo de escrita apenas de anexação

A coluna datastream_metadata contém os mesmos campos para tabelas com e sem chaves primárias:

  • UUID: este campo tem o tipo de dados STRING.
  • SOURCE_TIMESTAMP: este campo tem o tipo de dados INTEGER.
  • CHANGE_SEQUENCE_NUMBER: este campo tem o tipo de dados STRING. É um número de sequência interno usado pelo fluxo de dados para cada evento de alteração.
  • CHANGE_TYPE: este campo tem o tipo de dados STRING. Indica o tipo de evento de alteração: INSERT, UPDATE-INSERT, UPDATE-DELETE ou DELETE.
  • SORT_KEYS: este campo contém uma matriz de valores STRING. Pode usar os valores para ordenar os eventos de alteração.

Controle os custos do BigQuery

Os custos do BigQuery são cobrados separadamente do Datastream. Para saber como controlar os custos do BigQuery, consulte os preços da CDC do BigQuery.

Limitações conhecidas

As limitações conhecidas da utilização do BigQuery como destino incluem:

  • Só pode replicar dados num conjunto de dados do BigQuery que resida no Google Cloud mesmo projeto que a stream do Datastream.
  • Por predefinição, o Datastream não suporta a adição de uma chave primária a uma tabela que já foi replicada para o BigQuery sem uma chave primária, nem a remoção de uma chave primária de uma tabela que foi replicada para o BigQuery com uma chave primária. Se precisar de fazer essas alterações, contacte o apoio técnico da Google. Para obter informações sobre como alterar a definição da chave principal de uma tabela de origem que já tem uma chave principal, consulte o artigo Diagnosticar problemas.

  • As chaves primárias no BigQuery têm de ter os seguintes tipos de dados:

    • DATE
    • BOOL
    • GEOGRAPHY
    • INT64
    • NUMERIC
    • BIGNUMERIC
    • STRING
    • TIMESTAMP
    • DATETIME

    As tabelas que contêm chaves primárias de tipos de dados não suportados não são replicadas pelo Datastream.

  • O BigQuery não suporta nomes de tabelas com os carateres ., $, /, @ ou +. O fluxo de dados substitui esses carateres por carateres de sublinhado quando cria tabelas de destino.

    Por exemplo, table.name na base de dados de origem torna-se table_name no BigQuery.

    Para mais informações sobre os nomes das tabelas no BigQuery, consulte o artigo Nomenclatura das tabelas.

  • O BigQuery não suporta mais de quatro colunas de clustering. Quando replica uma tabela com mais de quatro colunas de chave primária, o Datastream usa quatro colunas de chave primária como colunas de agrupamento.

  • O fluxo de dados mapeia literais de data e hora fora do intervalo, como os tipos de data infinita do PostgreSQL, para os seguintes valores:

    • Positivo DATE para o valor de 9999-12-31
    • Negativo DATE para o valor de 0001-01-01
    • Positivo TIMESTAMP para o valor de 9999-12-31 23:59:59.999000 UTC
    • Negativo TIMESTAMP para o valor de 0001-01-01 00:00:00 UTC

  • O BigQuery não suporta tabelas de streaming com chaves primárias dos tipos de dados FLOAT ou REAL. Essas tabelas não são replicadas. Para saber mais sobre os tipos e os intervalos de datas do BigQuery, consulte o artigo Tipos de dados.

  • Se a sua origem for o Salesforce, a opção de configuração Conjunto de dados para cada esquema não é suportada.

O que se segue?