Pesquisar recursos de dados no catálogo do Dataplex

Use a pesquisa no catálogo do Dataplex para procurar recursos de dados, como conjuntos de dados do BigQuery, instâncias do Cloud SQL e outros. Para mais informações sobre os recursos do Google Cloud compatíveis com o catálogo do Dataplex, consulte Origens compatíveis do Google Cloud.

Observação: este documento descreve a pesquisa no catálogo do Dataplex. Para informações sobre a pesquisa do Data Catalog, consulte Pesquisar e visualizar recursos de dados com o Data Catalog e Catálogo do Dataplex versus Data Catalog.

Escopo de pesquisa

Os resultados da pesquisa no catálogo do Dataplex respeitam as permissões que você tem sobre os recursos correspondentes nos sistemas de origem.

Por exemplo, se você tiver acesso de leitura de metadados do BigQuery a um objeto, esse objeto vai aparecer nos resultados da pesquisa do catálogo do Dataplex. Se você tiver acesso a uma tabela do BigQuery, mas não ao conjunto de dados que a contém, a tabela ainda será exibida conforme esperado na pesquisa do catálogo do Dataplex.

Os resultados da pesquisa incluem apenas os recursos que pertencem ao mesmo perímetro do VPC-SC que o projeto em que a pesquisa é realizada. Ao usar o console do Google Cloud, esse é o projeto que está selecionado no console.

Para mais informações sobre os papéis do IAM do catálogo do Dataplex, consulte Papéis do IAM do Dataplex.

Limitações de recall na pesquisa

As consultas de pesquisa do catálogo do Dataplex não garantem o recall completo. É possível que resultados que correspondam à sua consulta não sejam retornados, mesmo em páginas de resultados subsequentes. Além disso, os resultados retornados (e não retornados) poderão variar se você repetir as consultas de pesquisa.

Tabelas fragmentadas por data

O Dataplex Catalog agrega tabelas fragmentadas por data em uma única entrada lógica. Essa entrada tem o mesmo esquema que o fragmento da tabela com a data mais recente. A entrada deriva o nível de acesso dela usando o conjunto de dados a que ela pertence. A pesquisa do catálogo do Dataplex só mostra essas entradas lógicas quando você tem acesso ao conjunto de dados que as contém. As tabelas fragmentadas por data individuais não ficam visíveis na pesquisa do catálogo do Dataplex, mesmo que estejam presentes no catálogo do Dataplex e possam ser marcadas.

Filtros

Os filtros permitem restringir os resultados da pesquisa. Todos os filtros são agrupados em seções:

• Sistemas, como BigQuery, Cloud SQL e outros. O sistema Dataplex contém entradas personalizadas.
• Aspectos (tags) listam todos os aspectos disponíveis para você.
• Projeto: lista todos os projetos disponíveis para você.
• Aliases de tipo, que descrevem os tipos de recursos, como bancos de dados, conjuntos de dados, modelos, tabelas, visualizações, serviços e tipos personalizados.
• Os conjuntos de dados são provenientes do BigQuery.

É possível combinar filtros de várias seções para encontrar recursos que correspondam a pelo menos uma condição de cada seção selecionada. Vários filtros selecionados em uma única seção são avaliados com o operador lógico OR.

Por exemplo, considere a combinação de filtros da imagem a seguir (clique para ampliar). Estes filtros de pesquisa são selecionados: sistemas BigQuery, aliases de tipo table e view, aspectos My aspect type 1 e My aspect type 2, projeto my-test-project e conjuntos de dados test_bq_dataset.

O Catálogo do Dataplex procura os seguintes recursos:

• Tabelas do BigQuery em test_bq_dataset com aspecto My aspect type 1
• Tabelas do BigQuery em test_bq_dataset com aspecto My aspect type 2
• Visualizações do BigQuery em test_bq_dataset com o aspecto My aspect type 1
• Visualizações do BigQuery em test_bq_dataset com o aspecto My aspect type 2

Filtrar por valor do aspecto

Os filtros Aspectos permitem consultar recursos marcados usando um modelo específico. Você pode usar o menu Personalizar para refinar ainda mais os resultados e filtrar por valores de aspecto específicos. As condições do filtro de valor de aspecto dependem do tipo de dados desse campo. Por exemplo, para os campos datetime e number, é possível especificar uma data ou um período específico.

Visibilidade do filtro

Os filtros Sistemas, Aliases de tipo, Projeto e Conjuntos de dados são exibidos dependendo da consulta atual no campo Pesquisa.

Observação :os conjuntos de filtros não serão atualizados se você mudar os filtros selecionados. Por exemplo, se você selecionar o sistema do BigQuery na seção "Sistemas", os filtros de tipo de dados não ficarão restritos aos filtros específicos do BigQuery, como tabela, visualização ou conjunto de dados.

Antes de começar

Antes de pesquisar recursos de dados, faça o seguinte.

Funções exigidas

Os resultados da pesquisa no catálogo do Dataplex são definidos de acordo com o papel. Para pesquisar um recurso no catálogo do Dataplex, é necessário ter permissões para acessar o recurso correspondente no sistema de origem. Para mais informações, consulte a seção Escopo da pesquisa deste documento.

Por exemplo, para pesquisar conjuntos de dados, tabelas, visualizações e modelos do BigQuery, você precisa das respectivas permissões para essas entradas. Para mais informações, consulte as permissões do BigQuery. A lista a seguir descreve as permissões mínimas necessárias:

• Para pesquisar uma tabela, você precisa da permissão bigquery.tables.get para ela.
• Para pesquisar um conjunto de dados, você precisa da permissão bigquery.tables.get para ele.
• Para pesquisar metadados de um conjunto de dados ou de uma tabela, você precisa do papel de leitor de metadados do BigQuery (roles/bigquery.metadataViewer).

Como outro exemplo, para pesquisar instâncias, bancos de dados, esquemas, tabelas e visualizações do Cloud SQL, você precisa das respectivas permissões nessas entradas. Para mais informações, consulte Papéis e permissões do Cloud SQL.

Para pesquisar entradas personalizadas, você precisa do papel Leitor de catálogo do Dataplex (roles/dataplex.catalogViewer).

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível receber as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Ativar a API

Ative a API Dataplex.

Ative a API

Pesquisar recursos de dados

Console

Para pesquisar recursos de dados, siga estas etapas:

1. No console do Google Cloud, acesse a página Pesquisa do Dataplex.

   Acesse Pesquisar

2. Em Escolher plataforma de pesquisa, selecione Catálogo do Dataplex como o modo de pesquisa.

   Selecionar Catálogo do Dataplex permite pesquisar no armazenamento de metadados do catálogo do Dataplex. Selecionar o Data Catalog permite pesquisar seu repositório do Data Catalog, se você for um usuário atual do Data Catalog.

3. No campo de pesquisa, digite sua consulta ou use o painel Filtros para refinar os parâmetros de pesquisa.

   É possível adicionar manualmente os seguintes filtros:

   • Adicione um filtro de projeto: em Projeto, clique em Adicionar projeto. Pesquise um projeto específico, selecione-o e clique em Abrir.
   • Adicione um filtro de tipo de aspecto: em Aspectos, clique no menu Adicionar mais tipos de aspecto. Pesquise um modelo específico, selecione-o e clique em OK.

4. Opcional: além dos recursos disponíveis, é possível pesquisar recursos de dados disponíveis publicamente no Google Cloud selecionando Incluir conjuntos de dados públicos.

Use as dicas a seguir para criar uma consulta de pesquisa:

• Coloque sua expressão de pesquisa entre aspas se ela tiver espaços. Por exemplo, "search terms".

• É possível preceder uma palavra-chave com NOT para corresponder à negação lógica do filtro keyword:term. Também é possível usar os operadores booleanos AND e OR para combinar expressões de pesquisa. Os operadores AND, OR e NOT não diferenciam maiúsculas de minúsculas.

  Por exemplo, NOT column:term lista todas as colunas, exceto as que correspondem ao termo especificado. Para uma lista de palavras-chave e outros termos que podem ser usados em uma expressão de pesquisa do catálogo do Dataplex, consulte Sintaxe de pesquisa.

gcloud

Para pesquisar recursos de dados, use o comando gcloud dataplex entries search.

REST

Para pesquisar recursos de dados, use o método searchEntries.

Mais detalhes de uma entrada

Console

Usar a pesquisa do catálogo do Dataplex para conferir os detalhes de uma entrada.

1. No console do Google Cloud, acesse a página Pesquisa do Dataplex.

   Acesse Pesquisar

2. Selecione Catálogo do Dataplex como o modo de pesquisa.

3. Na caixa de pesquisa, digite o nome de uma entrada.

4. Clique na entrada.

   A página de detalhes da entrada é aberta. A página inclui as seguintes seções:

   • Detalhes da entrada: inclui informações como tipo de entrada, sistema, plataforma, nome totalmente qualificado, horário de criação, horário da última modificação, descrição e administradores.
   • Visão geral: uma visão geral da entrada, se disponível.
   • Aspectos: os aspectos obrigatórios e opcionais definidos para a entrada. Para mais informações, consulte Categorias de aspectos.

gcloud

Para ver os detalhes de uma entrada, use o comando gcloud dataplex entries lookup.

REST

Para ver os detalhes de uma entrada, use o método lookupEntry.

A seguir

• Entenda a sintaxe de pesquisa do catálogo do Dataplex.
• Saiba mais sobre o Catálogo do Dataplex.
• Saiba como aprimorar entradas com metadados usando aspectos.
• Saiba como gerenciar entradas e ingerir origens personalizadas.