Use a pesquisa no catálogo do Dataplex para procurar recursos de dados, como conjuntos de dados do BigQuery, instâncias do Cloud SQL e outros. Para mais informações sobre os recursos do Google Cloud com suporte no Catálogo do Dataplex, consulte Origens compatíveis com o Google Cloud.
Escopo de pesquisa
Os resultados da pesquisa no Dataplex Catalog respeitam as permissões que você tem sobre os recursos correspondentes nos sistemas de origem.
Por exemplo, se você tiver acesso de leitura de metadados do BigQuery a um objeto, esse objeto aparece na pesquisa do catálogo do Dataplex resultados. Se você tem acesso a uma tabela do BigQuery, mas não à que contém a tabela, ela ainda é exibida conforme o esperado no Pesquisa do catálogo do Dataplex.
Os resultados da pesquisa incluem apenas os recursos que pertencem ao mesmo perímetro do VPC-SC que o projeto em que a pesquisa é realizada. Ao usar o botão Console do Google Cloud, é o projeto selecionado no console do Google Cloud.
Para ampliar o escopo dos resultados da pesquisa além dos recursos dentro do perímetro do VPC Service Controls do projeto, use as regras de entrada e saída do VPC Service Controls. Essas regras facilitam a troca de dados particular e eficiente em toda a organização. É possível configurar regras de entrada e saída usando o console do Google Cloud ou com arquivos JSON ou YAML. Consulte o exemplo de YAML a seguir e a documentação do VPC Service Controls para adaptar a regra aos seus requisitos específicos.
egressPolicies:
- egressFrom:
identityType: ANY_USER_ACCOUNT
egressTo:
# Specify which resources should be present in the search results. In this example,
# BigQuery.
operations:
- methodSelectors:
- method: '*'
serviceName: bigquery.googleapis.com
# Specify project ids under which the search is performed.
resources:
- projects/SEARCH_PROJECT_ID
ingressPolicies:
- ingressFrom:
identityType: ANY_USER_ACCOUNT
sources:
- accessLevel: '*'
ingressTo:
# Specify which resources should be present in the search results. In this example,
# BigQuery.
operations:
- methodSelectors:
- method: '*'
serviceName: bigquery.googleapis.com
# Specify project ids to expose in search results.
resources:
- projects/INGRESS_PROJECT_ID
Para mais informações sobre os papéis do IAM do Dataplex Catalog, consulte Papéis do IAM do Dataplex.
Limitações de recuperação na pesquisa
As consultas de pesquisa do catálogo do Dataplex não garantem o recall completo. É possível que os resultados correspondentes à consulta não sejam retornados, mesmo em páginas de resultados posteriores. Além disso, os resultados retornados (e não retornados) podem variar se você repetir consultas de pesquisa.
Filtros
Os filtros permitem restringir os resultados da pesquisa. Todos os filtros são agrupados em seções:
- Sistemas, como BigQuery, Cloud SQL e outros. O O sistema do Dataplex contém entradas personalizadas.
- Aspectos (tags): lista todos os aspectos disponíveis.
- Project lista todos os projetos disponíveis para você.
- Tipos de alias que descrevem tipos de recursos, como bancos de dados, conjuntos de dados, modelos, tabelas, visualizações, serviços e tipos personalizados.
- Os conjuntos de dados são provenientes do BigQuery.
É possível combinar filtros de várias seções para encontrar recursos que correspondam a
pelo menos uma condição de cada seção selecionada. Vários filtros que são
selecionados em uma única seção são avaliadas usando o operador lógico OR
.
Por exemplo, considere a combinação de filtros na imagem a seguir (clique na imagem
para ampliar). Estes filtros de pesquisa estão selecionados: sistemas
BigQuery
, aliases de tipo table
e view
, aspectos My aspect
type 1
e My aspect type 2
, projeto my-test-project
e conjuntos de dados
test_bq_dataset
.
O Dataplex Catalog procura os seguintes recursos:
- Tabelas do BigQuery em
test_bq_dataset
com aspectoMy aspect type 1
- Tabelas do BigQuery em
test_bq_dataset
com aspectoMy aspect type 2
- Visualizações do BigQuery em
test_bq_dataset
com aspectoMy aspect type 1
- Visualizações do BigQuery em
test_bq_dataset
com o aspectoMy aspect type 2
Filtrar por valor de aspecto
Os filtros Aspectos permitem consultar recursos marcados usando um
modelo. É possível usar o menu Personalizar para refinar ainda mais os resultados e
filtrar por valores de aspecto específicos. As condições do filtro de valor do aspecto dependem
o tipo de dados desse campo de aspecto. Por exemplo, para datetime
e number
você pode especificar uma data ou intervalo específico.
Filtrar visibilidade
Os filtros Sistemas, Aliases de tipo, Projeto e Conjuntos de dados são: exibido dependendo da consulta atual no campo Pesquisa.
Antes de começar
Antes de pesquisar recursos de dados, faça o seguinte.
Funções exigidas
Esta seção descreve os papéis e as permissões necessários para pesquisar dados ativos e acessar os resultados da pesquisa.
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Também é possível receber as permissões necessárias com papéis personalizados ou outros papéis predefinidos.
Papéis necessários para pesquisar entradas
Para pesquisar entradas, você precisa de pelo menos um dos papéis do IAM do Dataplex Catalog no projeto usado para pesquisa. As permissões nos resultados da pesquisa são verificadas independentemente do projeto selecionado.
Papéis necessários para acessar os resultados da pesquisa
Os resultados da pesquisa no catálogo do Dataplex são definidos de acordo com o sua função. Para pesquisar um recurso no Catálogo do Dataplex, é preciso têm permissões para acessar o recurso correspondente no sistema de origem. Para mais informações, consulte a seção Escopo da pesquisa deste documento.
Por exemplo, para pesquisar conjuntos de dados, tabelas, visualizações e modelos do BigQuery, você precisa das respectivas permissões para essas entradas. Para mais informações, consulte Permissões do BigQuery. A lista a seguir descreve as permissões mínimas necessárias:
- Para pesquisar uma tabela, você precisa da permissão
bigquery.tables.get
tabela. - Para pesquisar um conjunto de dados, você precisa da permissão
bigquery.datasets.get
para isso no conjunto de dados. - Para pesquisar metadados de um conjunto de dados ou de uma tabela, você precisa do BigQuery
Papel de Leitor de metadados (
roles/bigquery.metadataViewer
).
Como outro exemplo, para pesquisar instâncias, bancos de dados, esquemas, tabelas e visualizações, você precisa das respectivas permissões nessas entradas. Para mais informações, consulte Papéis e permissões do Cloud SQL.
Para pesquisar entradas personalizadas, você precisa do papel de leitor do Dataplex Catalog (roles/dataplex.catalogViewer
).
Ativar a API
Enable the Dataplex API.
Pesquisar recursos de dados
Console
Para pesquisar recursos de dados, siga estas etapas:
No console do Google Cloud, acesse a página Pesquisa do Dataplex.
Em Escolher plataforma de pesquisa, selecione Catálogo do Dataplex como o modo de pesquisa.
A seleção de Dataplex Catalog permite pesquisar no armazenamento de metadados do Dataplex Catalog. Se você já for usuário do Data Catalog, selecionar Data Catalog vai permitir pesquisar no repositório do Data Catalog.
No campo de pesquisa, digite sua consulta ou use o painel Filtros para refinar os parâmetros de pesquisa.
É possível adicionar manualmente os seguintes filtros:
- Adicionar um filtro de projeto: em Projeto, clique em Adicionar projeto. Pesquise um projeto específico, selecione-o e clique em Abrir.
- Adicionar um filtro de tipo de aspecto: em Aspectos, clique no menu Adicionar mais tipos de aspecto. Pesquise um modelo específico, selecione-o e clique em OK.
Opcional: além dos recursos disponíveis para você, é possível pesquisar recursos de dados disponíveis publicamente no Google Cloud selecionando Incluir conjuntos de dados públicos.
Use as dicas a seguir para criar uma consulta de pesquisa:
- Coloque sua expressão de pesquisa entre aspas se ela tiver espaços. Por exemplo,
"search terms"
. Você pode preceder uma palavra-chave com
NOT
para corresponder à negação lógica do filtrokeyword:term
. Você também pode usar os operadores booleanosAND
eOR
. para combinar expressões de pesquisa. Os operadoresAND
,OR
eNOT
não são diferencia maiúsculas de minúsculas.Por exemplo,
NOT column:term
lista todas as colunas, exceto as que correspondem o termo especificado. Para conferir uma lista de palavras-chave e outros termos que podem ser usados em uma expressão de pesquisa do Dataplex Catalog, consulte Sintaxe de pesquisa.
gcloud
Para pesquisar recursos de dados, use o
comando gcloud dataplex entries search
.
REST
Para pesquisar recursos de dados, use o método searchEntries
.
Mais detalhes de uma entrada
Console
Use a pesquisa do Dataplex Catalog para conferir os detalhes de uma entrada.
No console do Google Cloud, acesse a página Pesquisa do Dataplex.
Selecione Catálogo do Dataplex como o modo de pesquisa.
Na caixa de pesquisa, digite o nome de uma entrada.
Clique na entrada.
A página de detalhes da entrada é aberta. A página inclui as seguintes seções:
- Detalhes da entrada: inclui informações como tipo de entrada, sistema, plataforma, nome totalmente qualificado, hora de criação, hora da última modificação, descrição e administradores.
- Visão geral: uma visão geral da entrada, se disponível.
- Aspectos: os aspectos obrigatórios e opcionais definidos para a entrada. Para mais informações, consulte Categorias de aspectos.
gcloud
Para ver os detalhes de uma entrada, use o
comando gcloud dataplex entries lookup
.
REST
Para ver os detalhes de uma entrada, use o
método lookupEntry
.
A seguir
- Entenda a sintaxe de pesquisa do catálogo do Dataplex.
- Saiba mais sobre o Dataplex Catalog.
- Saiba como aprimorar entradas com metadados usando aspectos.
- Saiba como gerenciar entradas e importar fontes personalizadas.