Sintaxe de pesquisa do catálogo do Dataplex

Neste documento, descrevemos a sintaxe das consultas de pesquisa do Dataplex. Antes de ler este documento, é importante entender os conceitos do catálogo do Dataplex, como entradas de dados, aspectos, tipos de aspecto, grupos de entrada e tipos de entrada. Para mais informações, consulte Visão geral do catálogo do Dataplex.

Observação: este documento descreve a sintaxe de pesquisa do catálogo do Dataplex. Para informações sobre a sintaxe de pesquisa do Data Catalog, consulte Sintaxe de pesquisa do Data Catalog e Catálogo do Dataplex versus Data Catalog.

Para iniciar uma consulta de pesquisa do catálogo do Dataplex no Console do Google Cloud, acesse a página Pesquisa do Dataplex e selecione Catálogo do Dataplex como o modo de pesquisa.

Acesse Pesquisar

Para mais informações, consulte Pesquisar recursos de dados no catálogo do Dataplex.

Pesquisa simples

Na forma mais simples, uma consulta de pesquisa do catálogo do Dataplex consiste em um único predicado. Esse predicado pode corresponder a várias partes de metadados:

• Uma substring de um nome, nome de exibição ou descrição de um recurso de dados
• Uma substring do tipo de um recurso de dados
• Uma substring de um nome de coluna (ou nome de coluna aninhada) no esquema de um recurso de dados.
• Uma substring de um ID do projeto
• String de uma descrição geral

Por exemplo, o predicado foo corresponde às seguintes entidades:

• Recurso de dados com o nome foo.bar
• Recurso de dados com o nome de exibição Foo Bar
• Recurso de dados com a descrição This is the foo script
• Recurso de dados com o tipo exato foo
• Coluna foo_bar no esquema de um recurso de dados
• Coluna aninhada foo_bar no esquema de um recurso de dados
• Projeto prod-foo-bar
• Recurso de dados com uma visão geral contendo a palavra foo

Predicados qualificados

É possível qualificar um predicado adicionando-o como prefixo com uma chave que restringe a correspondência a uma parte específica dos metadados:

• Um sinal de igual (=) restringe a pesquisa a uma correspondência exata.
• Dois pontos (:) depois da chave corresponde ao predicado a uma substring ou a um token no valor nos resultados da pesquisa.

A tokenização divide o fluxo do texto em uma série de tokens, cada um geralmente correspondente a uma única palavra.

Exemplo:

• name:foo seleciona entidades com nomes que contêm a substring foo, como foo1 e barfoo.
• description:foo seleciona entidades com o token foo na descrição, como bar e foo.
• location=foo corresponde recursos de dados em um local especificado com foo como o nome do local.

As chaves de predicado type, system, location e orgid oferecem suporte apenas ao qualificador de correspondência exata (=), e não ao qualificador de substring (:). Por exemplo, type=foo ou orgid=number.

O Dataplex Catalog oferece suporte aos seguintes qualificadores:

Qualificador	Descrição
name:x	Corresponde a x como substring do ID do recurso de dados.
displayname:x	Corresponda x como substring do nome de exibição do recurso de dados.
column:x	Corresponde a x como uma substring do nome da coluna (ou nome da coluna aninhada) no esquema do recurso de dados.
description:x	Corresponde x como um token na descrição do recurso de dados.
label:bar	Corresponde aos recursos de dados do BigQuery que têm um rótulo (com algum valor) e que a chave de rótulo tem bar como substring.
label=bar	Corresponde aos recursos de dados do BigQuery que têm um rótulo (com algum valor) e a chave de rótulo é igual a bar como uma string.
label:bar:x	Corresponde a x como uma substring no valor de um rótulo com a chave bar anexada a um recurso de dados do BigQuery.
label=foo:bar	Corresponde aos recursos de dados do BigQuery em que a chave é foo e a chave-valor é bar.
label.foo=bar	Corresponde aos recursos de dados do BigQuery em que a chave é foo e a chave-valor é bar.
label.foo	Corresponde aos recursos de dados do BigQuery que têm um rótulo cuja chave é igual a foo como uma string.
type=TYPE	Corresponde aos recursos de dados de um tipo de entrada específico ou ao alias de tipo.
projectid:bar	Corresponde recursos de dados em projetos do Google Cloud que correspondem a bar como uma substring no ID.
parent:x	Corresponde a x como uma substring do caminho hierárquico de um recurso de dados. O caminho pai é um fully_qualified_name do recurso pai.
orgid=number	Faz a correspondência entre os recursos de dados de uma organização do Google Cloud e o valor exato do ID de number.
system=SYSTEM	Corresponde recursos de dados de um sistema especificado.
location=LOCATION	Faz a correspondência entre recursos de dados em um local especificado com um nome exato. Por exemplo, location=us-central1 corresponde aos recursos hospedados em Iowa. Os recursos do BigQuery Omni aceitam esse qualificador usando o nome do local do BigQuery Omni. Por exemplo, location=aws-us-east-1 corresponde aos recursos do BigQuery Omni no norte da Virgínia.
createtime	Encontra recursos de dados que foram criados dentro, antes ou depois de uma determinada data ou hora. Exemplo: createtime:2019-01-01 corresponde a recursos de dados criados em 01/01/2019. createtime<2019-02 corresponde aos recursos de dados criados antes de 01T00:00:00/02/2019. createtime>2019-02 corresponde aos recursos de dados criados depois de 01T00:00:00/02/2019. Formato do carimbo de data/hora: YYYY-MM-DDThh:mm:ss Todos os carimbos de data/hora precisam estar no fuso horário GMT. Fusos horários não são aceitos. Carimbos de data/hora parciais, separadores de data com hífen (-) e separadores de data com barra (/) são aceitos. Exemplo: 2010-10-22T05:36:24 2010-10-22T05:36 2010-10-22T05 2010-10-22 2010-10 2010 2010/10/22
updatetime	Encontra recursos de dados que foram atualizados dentro, antes ou depois de uma determinada data ou hora. Exemplo: updatetime:2019-01-01 corresponde aos recursos de dados atualizados em 01/01/2019. updatetime<2019-02 corresponde aos recursos de dados atualizados antes de 01/02/2019T00:00:00. updatetime>2019-02 corresponde aos recursos de dados atualizados após 01T00:00:00/02/2019. Formato do carimbo de data/hora: YYYY-MM-DDThh:mm:ss Todos os carimbos de data/hora precisam estar no fuso horário GMT. Fusos horários não são aceitos. Carimbos de data/hora parciais, separadores de data com hífen (-) e separadores de data com barra (/) são aceitos. Exemplo: 2010-10-22T05:36:24 2010-10-22T05:36 2010-10-22T05 2010-10-22 2010-10 2010 2010/10/22
fully_qualified_name:x	Corresponde a x como uma substring de fully_qualified_name.
fully_qualified_name=x	Corresponde a x como fully_qualified_name.

Pesquisa de aspecto

Para pesquisar entradas com base nos aspectos anexados, use a seguinte sintaxe de consulta.

Observação: a correspondência de substring tenta corresponder a um número limitado de aspectos. Se você não encontrar a entrada usando um fragmento do caminho, use o caminho completo para restringir a pesquisa e aumentar o recall.

Qualificador	Descrição
aspect:x	Corresponde a x como uma substring do caminho completo para o tipo de aspecto de um aspecto anexado à entrada, no formato projectid.location.ASPECT_TYPE_ID.
aspect=x	Corresponde a x como o caminho completo para o tipo de aspecto de um aspecto anexado à entrada, no formato projectid.location.ASPECT_TYPE_ID.
aspect:xOPERATORvalue	Pesquisa por valores de campo de aspecto. Corresponde a x como uma substring do caminho completo para o tipo de aspecto e o nome do campo de um aspecto anexado à entrada, no formato projectid.location.ASPECT_TYPE_ID.FIELD_NAME. A lista de operadores compatíveis depende do tipo de campo no aspecto, da seguinte maneira: String: = (correspondência exata) e : (substring) Todos os tipos de números: =, :, <, >, <=, >=, =>, =< Enumeração: = Datetime: o mesmo que para números, mas os valores a serem comparados são tratados como datas e horas em vez de números. Booleano: = Somente os campos de nível superior do aspecto são pesquisáveis. Por exemplo, todas as consultas a seguir correspondem a entradas em que o valor do campo is-enrolled no aspecto employee-info é true. Outras entradas que correspondem na substring também são retornadas. aspect:example-project.us-central1.employee-info.is-enrolled=true aspect:example-project.us-central1.employee=true aspect:employee=true

Operadores lógicos

Uma consulta pode consistir em vários predicados com operadores lógicos. Se você não especificar um operador, o AND lógico ficará implícito. Por exemplo, foo bar retorna entidades que correspondem ao predicado foo e ao predicado bar.

Há suporte para AND e OR lógicos. Por exemplo, foo OR bar.

É possível negar um predicado com o prefixo - (hífen) ou NOT. Por exemplo, -name:foo retorna entidades com nomes que não correspondem ao predicado foo.

Os operadores lógicos não diferenciam maiúsculas de minúsculas. Por exemplo, or e OR são aceitáveis.

Sintaxe abreviada

Uma sintaxe de pesquisa abreviada também está disponível, usando | (barra vertical) para os operadores OR e , (vírgula) para os operadores AND.

Por exemplo, para pesquisar entradas em um de muitos projetos usando o operador OR, use a seguinte sintaxe abreviada:

projectid:(id1|id2|id3|id4)

A mesma pesquisa sem usar sintaxe abreviada é semelhante ao seguinte:

projectid:id1 OR projectid:id2 OR projectid:id3 OR projectid:id4

Para pesquisar entradas com nomes de coluna correspondentes, use o código abaixo:

• E: column:(name1, name2, name3)
• OU: column:(name1|name2|name3)

Essa sintaxe abreviada funciona para os predicados qualificados, exceto para label.

A seguir

• Saiba como pesquisar recursos de dados no catálogo do Dataplex
• Saiba mais sobre o Catálogo do Dataplex.
• Saiba como aprimorar entradas com metadados usando aspectos.
• Saiba como gerenciar entradas e ingerir origens personalizadas.