Mudanças nos metadados do BigQuery armazenados no catálogo do Dataplex

Entre 15 de outubro e 15 de novembro de 2024, alguns dos metadados do BigQuery armazenados no Dataplex Catalog vão mudar.

Essa mudança traz os metadados armazenados no Dataplex Catalog para consistência com os metadados do BigQuery e de outras origens do Google Cloud.

Se você tiver cargas de trabalho que dependem dos metadados do BigQuery, será necessário ajustá-las para preservar a continuidade.

Para mais informações sobre os metadados do Dataplex Catalog, consulte Visão geral do Dataplex Catalog.

Escopo das mudanças

As mudanças descritas nesta seção se aplicam a todas as entradas do BigQuery. As entradas do BigQuery são entradas que pertencem a um tipo de entrada no sistema do BigQuery.

Os seguintes métodos de API são afetados por essas mudanças:

• lookupEntry
• entryGroups.entries.get

As mudanças nos valores de tipo de dados e de subtipo de tabela também são refletidas no console do Google Cloud, na página "Detalhes da entrada".

Valores de tipo de dados

Os valores do tipo de dados estão mudando para o tipo de aspecto SchemaAspect. O campo dataType foi afetado.

Valor antes da mudança	Valor após a alteração
INT64	INTEGER
FLOAT64	FLOAT
STRUCT	RECORD
BOOL	BOOLEAN

Nomes de recursos

O nome do recurso está mudando para o campo de entrada de nível superior entrySource.resource. O campo é modificado para conter o ID do recurso em vez do nome completo do recurso.

Valor antes da mudança	Valor após a alteração
//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET/tables/TABLE	projects/PROJECT_ID/datasets/DATASET/tables/TABLE

Valores de tipo ancestral

O valor do tipo ancestral está mudando para o campo de entrada de nível superior entrySource.ancestors.type.

Valor antes da mudança	Valor após a mudança
655216118709.global.Dataset	dataplex-types.global.bigquery-dataset

O que é preciso fazer

O período de lançamento começa em 15 de outubro de 2024 e termina em 15 de novembro de 2024. As mudanças nos metadados do BigQuery serão aplicadas gradualmente ao longo do período de lançamento.

Veja o que você precisa fazer:

• Antes de 15 de outubro de 2024: atualize seus trabalhos para interpretar a versão legada e a versão atualizada dos metadados.

• Durante o período de lançamento: as entradas do BigQuery podem capturar a versão legada ou a versão atualizada dos metadados. As cargas de trabalho precisam interpretar as duas versões.

  Para determinar se uma entrada do BigQuery usa os metadados atualizados, no objeto aspects da entrada, localize o tipo de aspecto relevante. No objeto aspectSource do tipo de aspecto, o campo data_version indica a versão dos metadados. Por exemplo, para uma entrada bigquery-table, consulte o campo Entry.aspects.dataplex-types.global.bigquery-table.aspectSource.data_version.

  Usa a versão legada de metadados	Usa a versão atualizada dos metadados
  "" (string vazia)	"Ingestion/1.0.0"

• Após 15 de novembro de 2024: opcionalmente, atualize seus trabalhos para interpretar apenas a nova versão dos metadados.

Suporte

Em caso de dúvidas, entre em contato [e-mail].