Visão geral do Data Catalog com o BigQuery

Neste documento, você terá uma visão geral de como o Data Catalog se relaciona com o BigQuery.

O Data Catalog é um serviço de gerenciamento de metadados totalmente gerenciado e escalonável no Dataplex.

Casos de uso do Data Catalog

O BigQuery usa o Data Catalog para executar os seguintes casos de uso:

  • Como visualizar a linhagem de dados.
  • Pesquisar recursos a que você tem acesso.
  • Incluir tags em recursos com metadados

Para uma descrição mais completa do Data Catalog, consulte O que é o Data Catalog.

Como o Data Catalog funciona

O Data Catalog pode catalogar metadados de fontes de dados do BigQuery. Depois que os metadados forem catalogados, você poderá adicionar seus próprios metadados a essas fontes de dados usando tags. Para um determinado projeto do BigQuery, o Data Catalog cataloga automaticamente os metadados do BigQuery sobre conjuntos de dados, tabelas, visualizações e modelos. O Data Catalog lida com dois tipos de metadados: metadados técnicos e metadados comerciais. Para saber mais sobre metadados, consulte Metadados do Data Catalog.

Pesquisa e descoberta

O Data Catalog oferece uma experiência avançada de pesquisa baseada em predicados para metadados técnicos e comerciais associados a uma entrada do Data Catalog que representa uma fonte de dados do BigQuery. Você deve ter as permissões para ler os metadados de um recurso para que você possa aplicar pesquisa e descoberta aos metadados. O Data Catalog não indexa os dados em um recurso. O Data Catalog indexa apenas os metadados que descrevem uma fonte de dados do BigQuery.

O Data Catalog controla alguns metadados, como tags geradas pelo usuário. Para todos os metadados provenientes do BigQuery, o Data Catalog é um serviço somente leitura que reflete os metadados e as permissões fornecidas pelo BigQuery. Você pode fazer edições no BigQuery para adicionar, atualizar ou excluir os metadados de uma entrada de dados.

Para saber mais sobre a pesquisa do Data Catalog, consulte Pesquisar recursos do BigQuery.

Acessar o Data Catalog

É possível acessar a funcionalidade do Data Catalog usando as seguintes interfaces:

A seguir