Sintaxe de pesquisa do Data Catalog

Veja neste documento a sintaxe das consultas de pesquisa do Data Catalog.

Predicados simples

Na forma mais simples, uma consulta de pesquisa contém um único predicado. Por exemplo, o predicado foo corresponde às seguintes entidades do Data Catalog:

  • Uma entidade com uma descrição This is the foo script.
  • Uma entidade com o nome foo.bar.

Predicados qualificados

Você pode qualificar um predicado usando um prefixo com uma chave que restringe a correspondência a uma parte específica dos metadados. Por exemplo, name:foo selecionará entidades cujos nomes correspondam ao predicado foo.

O Data Catalog oferece suporte aos seguintes qualificadores:

Qualificador Descrição
name:x Corresponde a x como substring do ID do recurso de dados.
displayname:x Corresponda x como substring do nome de exibição do recurso de dados.
column:x Corresponde x como substring do nome da coluna no esquema do recurso de dados.
description:x Corresponde x como um token na descrição do recurso de dados.
labels:bar Corresponde a recursos de dados do BigQuery que têm um rótulo (com algum valor) e a chave de rótulo tem bar como substring.
labels.bar:x Corresponde x como um token no valor de um rótulo bar anexado a um recurso de dados do BigQuery.
type=<type> Corresponde a ativos de dados de um tipo ou subtipo de objeto específico. Os subtipos podem ser adicionados com o formato <type>.<sub-type>.
Os tipos e subtipos incluem:
  • type=table corresponde a todas as tabelas.
  • type=dataset corresponde a todos os conjuntos de dados do BigQuery.
  • type=table.view ou type=view corresponde a todas as visualizações.
  • type=tag_template corresponde a todos os modelos de tag.
  • type=entry_group corresponde a todos os grupos de entrada.
  • type=data_stream corresponde a todos os tópicos Pub/Sub.
projectid:bar Corresponde recursos de dados dentro de projetos do Cloud que correspondem a bar como substring no ID.
orgid:bar Corresponde recursos de dados em organizações do Cloud que correspondem a bar como subsequência no ID.
system=<system> Corresponde a todos os ativos de dados de um sistema especificado.
Os sistemas incluem:
  • system=bigquery corresponde a todos os recursos de dados do BigQuery.
  • system=cloud_pubsub corresponde a todos os recursos de dados do Pub/Sub.
  • system=data_catalog corresponde a todos os recursos de dados criados no Data Catalog.
tag:x Corresponde a recursos de dados em que x corresponde a qualquer subsequência em <tag_template_project_id>.<tag_template_id>.<tag_field_id>.
Exemplos:
  • tag:data_owner corresponde recursos de dados que possuem a tag data_owner.
  • tag:data_gov_template corresponde recursos de dados que foram marcados com o modelo de tag data_gov_template.
  • tag:mycloudproject.data_gov_template corresponde a recursos de dados marcados com o modelo data_gov_template no projeto mycloudproject.
tag:key:val Corresponde a key em qualquer subsequência do ID do campo da tag, ID do modelo de tag ou ID do projeto da nuvem de um modelo de tag. Corresponde a val como um token no valor da tag de key quando o campo tag é do tipo string. Corresponde a val exatamente ao valor da tag de key quando o valor do campo de tag é do tipo boolean ou enum ou double.
Operadores permitidos:
  • string: ":"
  • booleano e enum: "="
  • double: "=", "<", ">", "<=", ">="
  • timestamp: ":", "=", "<", ">", "<=", ">="
Examplos:
  • string: tag:data_owner:@mail.com corresponde a recursos de dados que têm valores @mail.com.
  • booleano: tag:data_gov_template.hasPII=true corresponde a hasPII tags booleanas no data_gov_template que são true.
  • enum: tag:certification_level_1=HIGHEST.
  • duplo: tag:datascore=9 corresponde aos recursos de dados com datascore tags duplas que têm valor 9.
  • timestamp: tag:expiredDate:2019-01-01 corresponde a recursos de dados que têm expiredDate tag de 2019-01-01.
  • timestamp: tag:expiredDate<2019-02 corresponde a recursos de dados que têm expiredDate antes de 2019-02-01T00:00:00.
createtime Encontra recursos de dados que foram criados em, antes ou depois de uma determinada data ou hora.
Exemplos:
  • createtime:2019-01-01 corresponde a recursos de dados criados em 2019-01-01.
  • createtime<2019-02 corresponde a recursos de dados criados antes de 2019-02-01T00:00:00.
  • createtime>2019-02 corresponde a recursos de dados criados após 2019-02-01T00:00:00.
updatetime Encontra recursos de dados que foram atualizados em, antes ou depois de uma determinada data ou hora.
Exemplos:
  • updatetime:2019-01-01 corresponde aos recursos de dados atualizados em 2019-01-01.
  • updatetime<2019-02 corresponde aos recursos de dados atualizados antes de 2019-02-01T00:00:00.
  • updatetime>2019-02 corresponde aos recursos de dados atualizados após 2019-02-01T00:00:00.

Operadores lógicos

Uma consulta pode ser composta por vários predicados com operadores lógicos. Se você não especificar um operador, o AND lógico ficará implícito. Por exemplo, foo bar retorna entidades que correspondem ao predicado foo e ao predicado bar.

Lógico "E" e lógico "OU" são suportados, por exemplo, foo OR bar.

É possível negar um predicado com um prefixo - ou NOT. Por exemplo, -name:foo retorna todas as entidades com nomes que não correspondem ao predicado foo.