Sintaksis penelusuran Data Catalog

Dokumen ini menjelaskan sintaksis untuk kueri penelusuran Data Catalog. Sebelum membaca dokumen ini, Anda harus memahami konsep Data Catalog seperti entri data, tag dan template tag, serta jenis metadata lainnya. Lihat Apa yang dimaksud dengan Data Catalog?

Untuk meluncurkan kueri penelusuran Data Catalog di konsol Google Cloud, buka halaman Penelusuran Data Catalog, lalu pilih Data Catalog sebagai mode penelusuran.

Buka Penelusuran

Dalam bentuk yang paling sederhana, kueri penelusuran Data Catalog terdiri dari satu predikat. Predikat tersebut dapat cocok dengan beberapa bagian metadata:

  • Substring nama, nama tampilan, atau deskripsi aset data
  • Jenis aset data yang tepat
  • Substring nama kolom (atau nama kolom bertingkat) dalam skema aset data
  • Substring project ID
  • Nilai tag publik, nama template tag publik, atau nama kolom dalam template tag publik yang dilampirkan ke entri data.
  • (Pratinjau) String untuk alamat email atau nama pengelola data
  • (Pratinjau) String dari deskripsi ringkasan

Penelusuran sederhana tidak mendukung kolom template tag jenis datetime.

Misalnya, predikat foo cocok dengan entitas berikut:

  • Aset data dengan nama foo.bar
  • Aset data dengan nama tampilan Foo Bar
  • Aset data dengan deskripsi This is the foo script.
  • Aset data dengan jenis foo yang tepat
  • Kolom foo_bar dalam skema aset data
  • Kolom bertingkat foo_bar dalam skema aset data
  • Project prod-foo-bar
  • Template tag publik bernama foo, entri data yang diberi tag dengan template tag foo, nama tampilan template tag foo, nama kolom template tag foo, dan nilai kolom tag foo dalam string, enum, atau teks panjang.
  • (Pratinjau) Aset data dengan pengelola data bernama foo.
  • (Pratinjau) Aset data dengan ringkasan yang berisi kata foo.

Untuk mengetahui lebih lanjut peran dan izin untuk melihat tag publik dan pribadi, lihat Peran untuk melihat tag publik dan pribadi.

Predikat yang memenuhi syarat

Anda dapat memenuhi syarat predikat dengan menambahkan awalan kunci yang membatasi pencocokan ke bagian metadata tertentu.

Tanda sama dengan (=) membatasi penelusuran ke pencocokan persis.

Titik dua (:) setelah kunci akan mencocokkan predikat dengan substring atau token dalam nilai di hasil penelusuran.

Tokenisasi memecah aliran teks menjadi serangkaian token, dengan setiap token biasanya sesuai dengan satu kata.

Contoh:

  • name:foo memilih entity dengan nama yang berisi substring foo: foo1 dan barfoo.
  • description:foo memilih entitas dengan token foo dalam deskripsi: bar and foo.
  • location=foo mencocokkan semua aset data di lokasi yang ditentukan dengan foo sebagai nama lokasi.

Data Catalog mendukung penentu berikut:

Penentu Deskripsi
name:x Mencocokkan x sebagai substring ID aset data.
displayname:x Cocokkan x sebagai substring dari nama tampilan aset data.
column:x Mencocokkan x sebagai substring dari nama kolom (atau nama kolom bertingkat) dalam skema aset data.
Anda dapat menelusuri kolom bertingkat berdasarkan jalurnya menggunakan operator logika AND.
Misalnya, column:(foo bar) mencocokkan kolom bertingkat dengan jalur foo.bar.
description:x Mencocokkan x sebagai token dalam deskripsi aset data.
label:bar Mencocokkan aset data BigQuery yang memiliki label (dengan beberapa nilai) dan kunci label memiliki bar sebagai substring.
label=bar Mencocokkan aset data BigQuery yang memiliki label (dengan beberapa nilai) dan kunci label sama dengan bar sebagai string.
label:bar:x Mencocokkan x sebagai substring dalam nilai label dengan kunci bar yang dilampirkan ke aset data BigQuery.
label=foo:bar Mencocokkan aset data BigQuery dengan kunci sama dengan foo dan nilai kunci sama dengan bar.
label.foo=bar Mencocokkan aset data BigQuery dengan kunci sama dengan foo dan nilai kunci sama dengan bar.
label.foo Mencocokkan aset data BigQuery yang memiliki label dengan kunci yang sama dengan foo sebagai string.
type=<type> Mencocokkan aset data dari jenis atau subjenis objek tertentu. Subjenis dapat ditambahkan dengan format <type>.<sub-type>.
Jenis dan subjenis mencakup:
  • type=table cocok dengan semua tabel, tampilan, dan tampilan terwujud.
  • type=dataset cocok dengan semua set data.
  • type=table.view atau type=view cocok dengan semua tampilan, tetapi tidak cocok dengan tampilan terwujud.
  • type=materialized_view cocok dengan semua tampilan terwujud.
  • type=lake cocok dengan semua danau.
  • type=zone cocok dengan semua zona.
  • type=tag_template cocok dengan semua template tag.
  • type=entry_group cocok dengan semua grup entri.
  • type=data_stream cocok dengan semua topik Pub/Sub.
  • (Pratinjau) type=dataset.linked cocok dengan semua set data tertaut Analytics Hub.
projectid:bar Mencocokkan aset data dalam project Cloud yang cocok dengan bar sebagai substring dalam ID.
parent:x Mencocokkan x sebagai substring dari jalur hierarkis aset data BigQuery. Jalur memiliki format <project_id>.<dataset_name>.
Misalnya, parent:foo.bar cocok dengan semua tabel dan tampilan set data dengan jalur project-foo.bar-dataset.
orgid=number Mencocokkan aset data dalam organisasi Cloud dengan nilai ID persis number.
system=<system> Mencocokkan semua aset data dari sistem yang ditentukan.
Sistem mencakup:
  • system=bigquery cocok dengan semua aset data dari BigQuery.
  • system=cloud_bigtable cocok dengan semua aset data dari Bigtable.
  • system=cloud_pubsub cocok dengan semua aset data dari Pub/Sub.
  • system=cloud_spanner mencocokkan semua aset data dari Spanner.
  • system=dataproc_metastore cocok dengan semua aset data dari Dataproc Metastore.
  • system=data_catalog cocok dengan semua aset data yang dibuat di Katalog Data.
  • system=dataplex cocok dengan semua aset data yang dibuat di Dataplex.
location=<location> Mencocokkan semua aset data di lokasi yang ditentukan dengan nama yang sama persis. Misalnya, location=us-central1 cocok dengan semua aset yang dihosting di Iowa.
Untuk mengetahui daftar lengkap lokasi yang didukung, lihat Region Katalog Data.
cluster_location=<location> Mencocokkan semua aset data Bigtable di lokasi yang ditentukan dengan nama yang sama persis.
Misalnya, cluster_location=us-central1 cocok dengan semua aset yang dihosting di Iowa.
Untuk mengetahui daftar lengkap lokasi yang didukung, lihat Region Bigtable.
tag:x Mencocokkan aset data dengan x yang cocok dengan substring apa pun di <tag_template_project_id>.<tag_template_id>.<tag_field_id> dari tag pribadi atau publik.
Contoh:
  • tag:data_owner cocok dengan aset data yang memiliki tag data_owner.
  • tag:data_gov_template mencocokkan aset data yang telah diberi tag dengan template tag data_gov_template.
  • tag:mycloudproject.data_gov_template cocok dengan aset data yang diberi tag dengan template data_gov_template dalam project mycloudproject.
tag:key<operator>val Pertama, cocokkan key dengan substring ID kolom tag, ID template tag, atau ID project Google Cloud dari template tag. Kemudian, cocokkan val dengan nilai tag key bergantung pada jenis kolom tag.
Set <operator> yang bergantung pada jenis yang diizinkan untuk nilai tag adalah:
  • string/richtext: ":"
    Catatan: Titik dua dalam penelusuran string ini menunjukkan pencocokan token persis, bukan substring.
  • boolean dan enum: "="
  • ganda: "=", "<", ">", "<=", ">="
  • stempel waktu: ":", "=", "<", ">", "<=", ">="
Contoh:
  • string: tag:data_owner:@mail.com cocok dengan aset data yang memiliki nilai @mail.com.
  • boolean: tag:data_gov_template.hasPII=true cocok dengan tag boolean hasPII di data_gov_template yang merupakan true.
  • enum: tag:certification_level_1=HIGHEST.
  • double: tag:datascore=9 mencocokkan aset data dengan tag ganda datascore yang memiliki nilai 9.
  • stempel waktu: tag:expiredDate:2019-01-01 cocok dengan aset data yang memiliki tag expiredDate 2019-01-01.
  • stempel waktu: tag:expiredDate<2019-02 cocok dengan aset data yang memiliki tag expiredDate sebelum 2019-02-01T00:00:00.
createtime Menemukan aset data yang dibuat dalam, sebelum, atau setelah tanggal atau waktu tertentu.
Contoh:
  • createtime:2019-01-01 cocok dengan aset data yang dibuat pada 2019-01-01.
  • createtime<2019-02 cocok dengan aset data yang dibuat sebelum 2019-02-01T00:00:00.
  • createtime>2019-02 cocok dengan aset data yang dibuat setelah 2019-02-01T00:00:00.
updatetime Menemukan aset data yang diperbarui dalam, sebelum, atau setelah tanggal atau waktu tertentu.
Contoh:
  • updatetime:2019-01-01 cocok dengan aset data yang diperbarui pada 2019-01-01.
  • updatetime<2019-02 cocok dengan aset data yang diperbarui sebelum 2019-02-01T00:00:00.
  • updatetime>2019-02 cocok dengan aset data yang diperbarui setelah 2019-02-01T00:00:00.
policytag:x Cocokkan x sebagai substring dari nama tampilan tag kebijakan. Menemukan semua aset yang menggunakan tag kebijakan yang cocok atau turunannya.
policytagid=x Mencocokkan x sebagai ID tag kebijakan atau taksonomi. Menemukan semua aset yang menggunakan tag kebijakan yang cocok atau turunannya.
term:x Mencocokkan aset data yang terhubung ke istilah glosarium bisnis dengan substring nama, deskripsi, atau pengelola data yang cocok dengan x.
fully_qualified_name:x Mencocokkan x sebagai substring dari fully_qualified_name.
fully_qualified_name=x Mencocokkan x sebagai fully_qualified_name.

Operator logika

Kueri dapat terdiri dari beberapa predikat dengan operator logika. Jika Anda tidak menentukan operator, AND logika akan tersirat. Misalnya, foo bar menampilkan entity yang cocok dengan prediket foo dan prediket bar.

Logika AND dan logika OR didukung, misalnya, foo OR bar.

Anda dapat menegasikan predikat dengan awalan - atau NOT. Misalnya, -name:foo menampilkan semua entity dengan nama yang tidak cocok dengan predikat foo.

Sintaksis singkat

Sintaksis penelusuran singkat juga tersedia, menggunakan | untuk operator OR dan , untuk operator AND.

Misalnya, untuk menelusuri entri di dalam salah satu dari banyak project menggunakan operator OR, Anda dapat menggunakan:

projectid:(pid1|pid2|pid3|pid4)

Jangan gunakan:

projectid:pid1 OR projectid:pid2 OR projectid:pid3 OR projectid:pid4

Untuk menelusuri entri dengan nama kolom yang cocok:

  • DAN: column:(name1, name2, name3)
  • ATAU: column:(name1|name2|name3)

Sintaksis singkat ini berfungsi untuk predikat yang memenuhi syarat yang tercantum sebelumnya, kecuali untuk tag, term, policytag, policytagid, dan label.