Sintaksis penelusuran Data Catalog

Dokumen ini menjelaskan sintaksis untuk kueri penelusuran Data Catalog. Sebelum membaca dokumen ini, penting bagi Anda untuk memahami konsep Data Catalog seperti entri data, tag dan template tag, serta jenis metadata lainnya. Lihat Apa itu Data Catalog?

Untuk meluncurkan kueri penelusuran Data Catalog di Konsol Google Cloud, buka halaman Dataplex Search.

Buka Dataplex Search

Dalam bentuknya yang paling sederhana, kueri penelusuran Data Catalog terdiri dari satu predikat. Predikat tersebut dapat cocok dengan beberapa bagian metadata:

  • Substring nama, nama tampilan, atau deskripsi aset data
  • Jenis aset data yang tepat
  • Substring nama kolom (atau nama kolom bertingkat) dalam skema aset data
  • Substring dari project ID
  • Nilai tag publik, nama template tag publik, atau nama kolom di template tag publik yang dilampirkan ke entri data.
  • (Pratinjau) String untuk alamat email atau nama penjaga data
  • (Pratinjau) String dari deskripsi ringkasan

Penelusuran sederhana tidak mendukung kolom template tag dari jenis datetime.

Misalnya, predikat foo cocok dengan entitas berikut:

  • Aset data dengan nama foo.bar
  • Aset data dengan nama tampilan Foo Bar
  • Aset data dengan deskripsi This is the foo script.
  • Aset data dengan jenis foo yang tepat
  • Kolom foo_bar dalam skema aset data
  • Kolom bertingkat foo_bar dalam skema aset data
  • Project prod-foo-bar
  • Template tag publik bernama foo, entri data yang diberi tag dengan template tag foo, nama tampilan template tag foo, nama kolom template tag foo, dan nilai kolom tag foo dalam string, enum, atau rich text.
  • (Pratinjau) Aset data dengan pengelola data yang disebut foo.
  • (Pratinjau) Aset data dengan ringkasan yang berisi kata foo.

Guna mengetahui lebih lanjut peran dan izin untuk melihat tag publik dan pribadi, lihat Peran untuk melihat tag publik dan pribadi.

Predikat yang memenuhi syarat

Anda dapat mengkualifikasi predikat dengan mengawalinya dengan kunci yang membatasi pencocokan ke bagian metadata tertentu.

Tanda sama dengan (=) membatasi penelusuran pada pencocokan persis.

Titik dua (:) setelah kunci cocok dengan predikat ke substring atau token dalam nilai di hasil penelusuran.

Tokenisasi memecah aliran teks menjadi serangkaian token, dengan setiap token yang biasanya terkait dengan satu kata.

Contoh:

  • name:foo memilih entity dengan nama yang berisi substring foo: foo1 dan barfoo.
  • description:foo memilih entity dengan token foo dalam deskripsi: bar and foo.
  • location=foo mencocokkan semua aset data di lokasi yang ditentukan dengan foo sebagai nama lokasi.

Data Catalog mendukung penentu berikut:

Penentu Deskripsi
name:x Mencocokkan x sebagai substring ID aset data.
displayname:x Mencocokkan x sebagai substring nama tampilan aset data.
column:x Mencocokkan x sebagai substring nama kolom (atau nama kolom bertingkat) dalam skema aset data.
Anda dapat menelusuri kolom bertingkat menurut jalurnya menggunakan operator logika AND.
Misalnya, column:(foo bar) mencocokkan kolom bertingkat dengan jalur foo.bar.
description:x Mencocokkan x sebagai token dalam deskripsi aset data.
label:bar Mencocokkan aset data BigQuery yang memiliki label (dengan beberapa nilai) dan kunci label memiliki bar sebagai substring.
label=bar Mencocokkan aset data BigQuery yang memiliki label (dengan beberapa nilai) dan kunci label sama dengan bar sebagai string.
label:bar:x Mencocokkan x sebagai substring dalam nilai label dengan kunci bar yang dikaitkan ke aset data BigQuery.
label=foo:bar Mencocokkan aset data BigQuery jika kunci sama dengan foo dan nilai kunci sama dengan bar.
label.foo=bar Mencocokkan aset data BigQuery jika kunci sama dengan foo dan nilai kunci sama dengan bar.
label.foo Mencocokkan aset data BigQuery yang memiliki label yang kuncinya sama dengan foo sebagai string.
type=<type> Mencocokkan aset data dari jenis objek atau subjenis tertentu. Subjenis dapat ditambahkan dengan format <type>.<sub-type>.
Jenis dan subjenis meliputi:
  • type=table cocok dengan semua tabel.
  • type=dataset cocok dengan semua set data.
  • type=table.view atau type=view cocok dengan semua tampilan.
  • type=lake cocok dengan semua danau.
  • type=zone cocok dengan semua zona.
  • type=tag_template cocok dengan semua template tag.
  • type=entry_group cocok dengan semua grup entri.
  • type=data_stream cocok dengan semua topik Pub/Sub.
  • (Pratinjau) type=dataset.linked cocok dengan semua set data tertaut Analytics Hub.
projectid:bar Mencocokkan aset data dalam project Cloud yang cocok dengan bar sebagai substring di ID.
parent:x Mencocokkan x sebagai substring jalur hierarki aset data BigQuery. Jalur tersebut memiliki format <project_id>.<dataset_name>.
Misalnya, parent:foo.bar cocok dengan semua tabel dan tampilan set data dengan jalur project-foo.bar-dataset.
orgid=number Mencocokkan aset data dalam organisasi Cloud dengan nilai ID yang tepat sebesar number.
system=<system> Mencocokkan semua aset data dari sistem yang ditentukan.
Sistem meliputi:
  • system=bigquery cocok dengan semua aset data dari BigQuery.
  • system=cloud_bigtable cocok dengan semua aset data dari Bigtable.
  • system=cloud_pubsub cocok dengan semua aset data dari Pub/Sub.
  • system=cloud_spanner cocok dengan semua aset data dari Spanner.
  • system=dataproc_metastore cocok dengan semua aset data dari Dataproc Metastore.
  • system=data_catalog cocok dengan semua aset data yang dibuat di Data Catalog.
  • system=dataplex cocok dengan semua aset data yang dibuat di Dataplex.
location=<location> Mencocokkan semua aset data di lokasi yang ditentukan dengan nama yang tepat. Misalnya, location=us-central1 cocok dengan semua aset yang dihosting di Iowa.
Untuk mengetahui daftar lengkap lokasi yang didukung, lihat Region Data Catalog.
cluster_location=<location> Mencocokkan semua aset data Bigtable di lokasi tertentu dengan nama yang tepat.
Misalnya, cluster_location=us-central1 cocok dengan semua aset yang dihosting di Iowa.
Untuk daftar lengkap lokasi yang didukung, lihat Region Bigtable.
tag:x Mencocokkan aset data ketika x cocok dengan substring apa pun di <tag_template_project_id>.<tag_template_id>.<tag_field_id> dari tag pribadi atau publik.
Contoh:
  • tag:data_owner cocok dengan aset data yang memiliki tag data_owner.
  • tag:data_gov_template cocok dengan aset data yang telah diberi tag dengan template tag data_gov_template.
  • tag:mycloudproject.data_gov_template mencocokkan aset data yang diberi tag dengan template data_gov_template di project mycloudproject.
tag:key<operator>val Pertama, cocokkan key ke substring apa pun dari ID kolom tag, ID template tag, atau ID project Google Cloud dari template tag. Kemudian, cocokkan val dengan nilai tag key bergantung pada jenis kolom tag.
Kumpulan <operator> yang bergantung pada jenis yang diizinkan untuk nilai tag adalah:
  • string/richtext: ":"
    Catatan: Tanda titik dua dalam penelusuran string ini menunjukkan kecocokan token yang sama persis, bukan substring.
  • boolean dan boolean: "="
  • double: "=", "<", ">", "<=", ">="
  • stempel waktu: ":", "=", "<", ">", "<=", ">="
Contoh:
  • string: tag:data_owner:@mail.com cocok dengan aset data yang memiliki nilai @mail.com.
  • boolean: tag:data_gov_template.hasPII=true cocok dengan tag boolean hasPII di data_gov_template yang berupa true.
  • enum: tag:certification_level_1=HIGHEST.
  • double: tag:datascore=9 mencocokkan aset data dengan tag ganda datascore yang memiliki nilai 9.
  • stempel waktu: tag:expiredDate:2019-01-01 cocok dengan aset data yang memiliki tag expiredDate dari 2019-01-01.
  • stempel waktu: tag:expiredDate<2019-02 cocok dengan aset data yang memiliki tag expiredDate sebelum 2019-02-01T00:00:00.
createtime Menemukan aset data yang dibuat dalam, sebelum, atau setelah tanggal atau waktu tertentu.
Contoh:
  • createtime:2019-01-01 cocok dengan aset data yang dibuat pada 2019-01-01.
  • createtime<2019-02 cocok dengan aset data yang dibuat sebelum 2019-02-01T00:00:00.
  • createtime>2019-02 cocok dengan aset data yang dibuat setelah 2019-02-01T00:00:00.
updatetime Menemukan aset data yang diperbarui dalam, sebelum, atau setelah tanggal atau waktu tertentu.
Contoh:
  • updatetime:2019-01-01 cocok dengan aset data yang diperbarui pada 2019-01-01.
  • updatetime<2019-02 cocok dengan aset data yang diperbarui sebelum 2019-02-01T00:00:00.
  • updatetime>2019-02 cocok dengan aset data yang diperbarui setelah 2019-02-01T00:00:00.
policytag:x Mencocokkan x sebagai substring nama tampilan tag kebijakan. Menemukan semua aset menggunakan tag kebijakan yang cocok atau turunannya.
policytagid=x Mencocokkan x sebagai ID tag kebijakan atau taksonomi. Menemukan semua aset menggunakan tag kebijakan yang cocok atau turunannya.
term:x Mencocokkan aset data yang terhubung ke istilah glosarium bisnis dengan substring nama, deskripsi, atau pengelola data yang cocok dengan x.
fully_qualified_name:x Mencocokkan x sebagai substring dari fully_qualified_name.
fully_qualified_name=x Cocok dengan x sebagai fully_qualified_name.

Operator logika

Sebuah kueri dapat terdiri dari beberapa predikat dengan operator logika. Jika Anda tidak menentukan operator, AND logis adalah tersirat. Misalnya, foo bar menampilkan entity yang cocok dengan predikat foo dan predikat bar.

Logika AND dan logika OR didukung, misalnya, foo OR bar.

Anda dapat menegasikan predikat dengan awalan - atau NOT. Misalnya, -name:foo menampilkan semua entity dengan nama yang tidak cocok dengan predikat foo.

Singkatan sintaksis

Sintaksis penelusuran yang disingkat juga tersedia, menggunakan | untuk operator OR dan , untuk operator AND.

Misalnya, untuk menelusuri entri di dalam salah satu dari banyak project menggunakan operator OR, Anda dapat menggunakan:

projectid:(pid1|pid2|pid3|pid4)

Daripada:

projectid:pid1 OR projectid:pid2 OR projectid:pid3 OR projectid:pid4

Untuk menelusuri entri dengan nama kolom yang cocok:

  • DAN: column:(name1, name2, name3)
  • ATAU: column:(name1|name2|name3)

Sintaksis yang disingkat ini berfungsi untuk predikat yang memenuhi syarat yang tercantum sebelumnya, kecuali untuk tag, term, policytag, policytagid, dan label.