Pesquise recursos no Dataplex Universal Catalog

Este documento descreve como usar a pesquisa no catálogo universal do Dataplex para pesquisar recursos, como conjuntos de dados do BigQuery, instâncias do Cloud SQL e outros.

O Dataplex Universal Catalog oferece dois modos de pesquisa: pesquisa por palavras-chave e pesquisa em linguagem natural (pré-visualização).

A pesquisa de palavras-chave permite-lhe encontrar recursos através de palavras-chave específicas, filtros e uma sintaxe definida.

A pesquisa de linguagem natural expande a pesquisa de palavras-chave para suportar consultas de linguagem natural. Permite-lhe encontrar recursos através de linguagem comum, eliminando a necessidade de sintaxe complexa.

Para mais informações sobre os Google Cloud recursos suportados no catálogo universal do Dataplex, consulte asorigens Google Cloud suportadas.

Âmbito da pesquisa

Os resultados da pesquisa no Dataplex Universal Catalog respeitam as autorizações que tem sobre os recursos correspondentes nos sistemas de origem.

Por exemplo, se tiver acesso de leitura aos metadados do BigQuery de um objeto, esse objeto aparece nos resultados da pesquisa do catálogo universal do Dataplex. Se tiver acesso a uma tabela do BigQuery, mas não ao conjunto de dados que contém essa tabela, a tabela continua a ser apresentada conforme esperado na pesquisa do catálogo universal do Dataplex.

Por predefinição, a pesquisa está limitada à sua organização. Os resultados incluem apenas recursos da mesma organização que o projeto no qual está a pesquisar.

Os resultados da pesquisa incluem apenas os recursos que pertencem ao mesmo perímetro do VPC-SC que o projeto no qual a pesquisa é realizada. Quando usa a Google Cloud consola, este é o projeto selecionado na consola.

Para alargar o âmbito dos resultados da pesquisa para além dos recursos no perímetro do VPC Service Controls do seu projeto, use as regras de entrada e saída do VPC Service Controls. Estas regras facilitam a troca de dados privada e eficiente na sua organização. Pode configurar regras de entrada e saída através da Google Cloud consola ou de ficheiros JSON ou YAML. Consulte o exemplo de YAML abaixo e consulte a documentação do VPC Service Controls para adaptar a regra aos seus requisitos específicos.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Para mais informações sobre as funções de gestão de identidade e acesso (IAM) de que precisa para usar a pesquisa do Dataplex Universal Catalog, consulte o artigo Funções de IAM do Dataplex Universal Catalog.

Isole os resultados da pesquisa por ambiente através dos VPC Service Controls

Para isolar os resultados da pesquisa do catálogo universal do Dataplex entre ambientes, como desenvolvimento, teste e produção, configure perímetros dos VPC Service Controls separados para cada ambiente. Atribua os projetos que contêm os recursos de dados e os projetos usados para realizar pesquisas ao perímetro do ambiente correspondente. As pesquisas realizadas a partir de um projeto dentro de um perímetro específico só devolvem resultados para recursos que também se encontram nesse mesmo perímetro.

Limitações de memorização na pesquisa

As consultas de pesquisa do Dataplex Universal Catalog não garantem uma capacidade de memorização total. Podem não ser devolvidos resultados que correspondam à sua consulta. Além disso, os resultados devolvidos (e não devolvidos) podem variar se repetir as consultas de pesquisa.

Para consultar todos os metadados do catálogo universal do Dataplex, pode exportar os metadados para o Cloud Storage e, em seguida, consultá-los a partir do BigQuery. Para mais informações, consulte o artigo Exporte metadados.

Filtros

Os filtros permitem-lhe restringir os resultados da pesquisa. Os filtros estão disponíveis na pesquisa por palavras-chave e em linguagem natural, mas as opções disponíveis podem diferir ligeiramente consoante o modo.

Quando fornece filtros em várias secções, estes são avaliados através do operador lógico AND. Os resultados da pesquisa contêm recursos que correspondem a, pelo menos, uma condição de cada secção selecionada. Por exemplo, se selecionar o sistema BigQuery e o tipo de recurso do conjunto de dados, os resultados da pesquisa incluem conjuntos de dados do BigQuery, mas não conjuntos de dados do Vertex AI.

Se selecionar vários filtros numa única secção, estes são avaliados através do operador lógico OR. Por exemplo, se selecionar o tipo de recurso do conjunto de dados e o tipo de recurso da tabela, os resultados da pesquisa incluem conjuntos de dados e tabelas.

Filtros de pesquisa de palavras-chave

Para a pesquisa de palavras-chave, os filtros estão agrupados nas seguintes secções:

  • Sistemas, como o BigQuery, o Cloud SQL e outros. O sistema Dataplex Universal Catalog contém entradas personalizadas.
  • Aspetos (etiquetas): lista todos os aspetos disponíveis para si.
  • Projeto apresenta todos os projetos disponíveis para si.
  • Os alias de tipos descrevem tipos de recursos, como bases de dados, conjuntos de dados, modelos, tabelas, vistas, serviços e tipos personalizados.
  • Os conjuntos de dados são provenientes do BigQuery.

Filtre por valor do aspeto

Os filtros Aspetos permitem-lhe consultar recursos etiquetados com um modelo específico. Pode usar o menu Personalizar para refinar ainda mais os resultados e filtrar por valores de aspetos específicos. As condições do filtro de valor do aspeto dependem do tipo de dados desse campo de aspeto. Por exemplo, para os campos datetime e number, pode especificar uma data específica ou um intervalo.

Visibilidade do filtro

Os filtros Sistemas, Alias de tipo, Projeto e Conjuntos de dados são apresentados consoante a consulta atual no campo Pesquisa.

Filtros de pesquisa de linguagem natural

Para a pesquisa em linguagem natural, estão disponíveis os seguintes filtros:

  • Âmbito: pesquise em toda a organização (predefinição), no projeto atual ou apenas nos recursos com estrela. Para mais informações, consulte a secção Âmbito da pesquisa deste documento.
  • Sistemas: o Google Cloud serviço ao qual o recurso pertence, como o BigQuery. O sistema do catálogo universal do Dataplex contém grupos de entradas.
  • Projetos: os projetos nos quais pesquisar.
  • Tipo: o tipo de recurso, como ligação do BigQuery, contentor do Cloud Storage ou base de dados. Dependendo do tipo de recurso, também pode filtrar por subtipo, como o tipo de ligação ou o dialeto de SQL.
  • Selecionar localizações: as localizações onde pesquisar.
  • Selecionar conjuntos de dados: os resultados da pesquisa estão limitados aos recursos do BigQuery que pertencem aos conjuntos de dados do BigQuery selecionados. No campo Escreva para filtrar, introduza o nome do conjunto de dados.
  • Tipos de aspetos: os tipos de aspetos do Dataplex Universal Catalog que estão associados ao recurso que está a pesquisar. Para filtrar por valores de aspeto, clique em Filtrar por valores de anotação e, de seguida, selecione os valores.

Antes de começar

Antes de realizar a pesquisa, certifique-se de que lhe foram concedidas as funções necessárias e que ativou a API necessária.

Funções necessárias

Esta secção descreve as funções e as autorizações necessárias para pesquisar recursos e aceder aos resultados da pesquisa.

Para mais informações sobre a concessão de funções, consulte o artigo Gerir acesso.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Funções necessárias para pesquisar entradas

Para pesquisar entradas, precisa de, pelo menos, uma das seguintes funções da IAM no projeto usado para a pesquisa: administrador do catálogo do Dataplex, editor do catálogo do Dataplex ou leitor do catálogo do Dataplex. As autorizações nos resultados da pesquisa são verificadas independentemente do projeto selecionado.

Funções necessárias para aceder aos resultados da pesquisa

Os resultados da pesquisa no Dataplex Universal Catalog são definidos de acordo com a sua função. Para pesquisar um recurso no Dataplex Universal Catalog, tem de ter autorizações para aceder ao recurso correspondente no sistema de origem. Para mais informações, consulte a secção Âmbito da pesquisa deste documento.

Por exemplo, para pesquisar conjuntos de dados, tabelas, vistas e modelos do BigQuery, precisa das autorizações respetivas para essas entradas. Para mais informações, consulte as autorizações do BigQuery.

A lista seguinte descreve as autorizações mínimas necessárias:

  • Para pesquisar uma tabela, precisa de autorização bigquery.tables.get para essa tabela.
  • Para pesquisar um conjunto de dados, precisa de bigquery.datasets.get autorização para esse conjunto de dados.
  • Para pesquisar metadados de um conjunto de dados ou de uma tabela, precisa da função de visualizador de metadados do BigQuery (roles/bigquery.metadataViewer).

Como outro exemplo, para pesquisar instâncias, bases de dados, esquemas, tabelas e vistas do Cloud SQL, precisa das respetivas autorizações nessas entradas. Para mais informações, consulte o artigo Funções e autorizações do Cloud SQL.

Para pesquisar entradas personalizadas, precisa da função de visualizador do catálogo do Dataplex (roles/dataplex.catalogViewer).

Ative a API

Enable the Dataplex API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Pesquisar recursos

Consola

Para pesquisar recursos, siga estes passos:

  1. Na Google Cloud consola, aceda à página Pesquisa do catálogo universal do Dataplex.

    Aceda à pesquisa

  2. Para Escolher plataforma de pesquisa, selecione Dataplex Universal Catalog.

    A seleção de Dataplex Universal Catalog permite-lhe pesquisar o armazenamento de metadados do Dataplex Universal Catalog. Se selecionar Catálogo de dados, pode pesquisar o seu repositório do Catálogo de dados, se for um utilizador existente do Catálogo de dados.

  3. Para usar a pesquisa de palavras-chave, siga estes passos:

    1. No campo Encontre recursos em todos os projetos, introduza a sua consulta.

    2. Para refinar a pesquisa, use o painel Filtros. Para ver a lista de filtros disponíveis, consulte os filtros de pesquisa de palavras-chave.

      Pode adicionar manualmente os seguintes filtros:

      • Adicione um filtro de projeto: em Projeto, clique em Adicionar projeto. Pesquise um projeto específico, selecione-o e, de seguida, clique em Abrir.
      • Adicione um filtro de tipo de aspeto: em Aspetos, clique no menu Adicionar mais tipos de aspetos. Pesquise um modelo específico, selecione-o e, de seguida, clique em OK.

    3. Opcional: além dos recursos disponíveis, pode pesquisar recursos disponíveis publicamente em Google Cloud selecionando Incluir conjuntos de dados públicos.

      Use as seguintes sugestões para criar uma consulta de pesquisa:

      • Inclua a sua expressão de pesquisa entre aspas se contiver espaços. Por exemplo, "search terms".
      • Preceda uma palavra-chave com NOT para corresponder à negação lógica do filtro keyword:term. Também pode usar os operadores booleanos AND e OR para combinar expressões de pesquisa. Os operadores AND, OR e NOT não são sensíveis a maiúsculas e minúsculas.

      Por exemplo, NOT column:term lista todas as colunas, exceto as que correspondem ao termo especificado. Para ver uma lista de palavras-chave e outros termos que pode usar numa expressão de pesquisa do Dataplex Universal Catalog, consulte a sintaxe de pesquisa.

  4. Para usar a pesquisa em linguagem natural, siga estes passos:

    1. Clique em Experimentar pesquisa em linguagem natural.

    2. No campo Encontre recursos em projetos com linguagem natural, introduza a sua consulta em linguagem natural e, de seguida, prima Enter.

      Seguem-se alguns exemplos de consultas:

      • Show me the datasets that contain taxi information
      • Find data on vaccine distribution across different countries
      • Get tables with historical temperature data for major world cities
      • Search for hurricane tracking and storm activity datasets
      • Population data by country

    3. Para refinar a pesquisa, clique em Filtros. Para ver a lista de filtros disponíveis, consulte o artigo Filtros de pesquisa em linguagem natural.

  5. Para ver mais informações sobre o recurso pesquisado, nos resultados da pesquisa, clique no nome do recurso. É apresentada a página de detalhes da entrada.

gcloud

Para pesquisar recursos, use o comando gcloud dataplex entries search.

REST

Para pesquisar recursos, use o método searchEntries.

Veja os detalhes de uma entrada

Consola

Use a pesquisa do Dataplex Universal Catalog para ver os detalhes de uma entrada.

  1. Pesquise uma entrada no Dataplex Universal Catalog.

  2. Nos resultados da pesquisa, clique na entrada para a qual quer ver os detalhes.

    É apresentada a página de detalhes da entrada. A página inclui as seguintes secções:

    • Detalhes da entrada: inclui informações como o tipo de entrada, o sistema, a plataforma, o nome totalmente qualificado, a hora de criação, a hora da última modificação, a descrição e os responsáveis.
    • Vista geral: uma vista geral da entrada, se disponível.
    • Aspetos: os aspetos obrigatórios e opcionais definidos para a entrada. Para mais informações, consulte o artigo Categorias de aspetos.

gcloud

Para ver os detalhes de uma entrada, use o comando gcloud dataplex entries lookup.

REST

Para ver os detalhes de uma entrada, use o método lookupEntry.

Limitações

Seguem-se as limitações da pesquisa em linguagem natural:

  • A pesquisa de linguagem natural está otimizada para a descoberta e a exploração, devolvendo um conjunto limitado dos resultados mais relevantes. Pode não fornecer uma lista exaustiva de todos os itens correspondentes e, por isso, pode não ser adequado para cargas de trabalho que dependam desta funcionalidade, como pipelines de organização.

  • A pesquisa em linguagem natural tem em conta apenas os metadados dos recursos, incluindo esquemas, descrições e aspetos. Não responde a perguntas sobre os dados nas tabelas (por exemplo, "Quais foram as vendas do mês passado?") nem executa consultas analíticas nos metadados (por exemplo, "Quantas tabelas existem no conjunto de dados X?").

  • Os recursos públicos estão fora do âmbito da pesquisa em linguagem natural.

O que se segue?