Menelusuri resource di Katalog Dataplex

Dokumen ini menjelaskan cara menggunakan penelusuran di Katalog Dataplex untuk menelusuri resource seperti set data BigQuery, instance Cloud SQL, dan lainnya. Untuk mengetahui informasi selengkapnya tentang aset Google Cloud yang didukung di Katalog Dataplex, lihat Sumber Google Cloud yang didukung.

Catatan: Untuk informasi tentang penelusuran Data Catalog, lihat Menelusuri dan melihat aset data dengan Data Catalog dan Katalog Dataplex versus Data Catalog.

Cakupan penelusuran

Hasil penelusuran di Katalog Dataplex mengikuti izin yang Anda miliki atas resource yang sesuai di sistem sumber.

Misalnya, jika Anda memiliki akses baca metadata BigQuery ke objek, objek tersebut akan muncul di hasil penelusuran Katalog Dataplex. Jika Anda memiliki akses ke tabel BigQuery, tetapi tidak memiliki akses ke set data yang berisi tabel tersebut, tabel tersebut akan tetap muncul seperti yang diharapkan dalam penelusuran Katalog Dataplex.

Hasil penelusuran hanya mencakup resource yang termasuk dalam perimeter VPC-SC yang sama dengan project tempat penelusuran dilakukan. Saat menggunakan konsol Google Cloud, ini adalah project yang dipilih di konsol.

Untuk memperluas cakupan hasil penelusuran di luar resource dalam perimeter Kontrol Layanan VPC project Anda, gunakan aturan traffic masuk dan keluar Kontrol Layanan VPC. Aturan ini memfasilitasi pertukaran data yang pribadi dan efisien di seluruh organisasi Anda. Anda dapat mengonfigurasi aturan traffic masuk dan keluar menggunakan konsol Google Cloud atau melalui file JSON atau YAML. Lihat contoh YAML berikut dan baca dokumentasi Kontrol Layanan VPC untuk menyesuaikan aturan dengan persyaratan spesifik Anda.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Untuk mengetahui informasi selengkapnya tentang peran Identity and Access Management Katalog Dataplex, lihat Peran IAM Dataplex.

Catatan: Penerusan izin ke penelusuran mungkin tertunda jika perubahan tersebut memengaruhi resource atau akun utama dalam jumlah besar.

Batasan recall dalam penelusuran

Kueri penelusuran Katalog Dataplex tidak menjamin recall penuh. Hasil yang cocok dengan kueri Anda mungkin tidak ditampilkan, bahkan di halaman hasil berikutnya. Selain itu, hasil yang ditampilkan (dan tidak ditampilkan) dapat bervariasi jika Anda mengulangi kueri penelusuran.

Filter

Filter memungkinkan Anda mempersempit hasil penelusuran. Semua filter dikelompokkan dalam bagian:

• Sistem seperti BigQuery, Cloud SQL, dan lainnya. Sistem Dataplex berisi entri kustom.
• Aspek (tag) mencantumkan semua aspek yang tersedia untuk Anda.
• Project mencantumkan semua project yang tersedia untuk Anda.
• Alias jenis menjelaskan jenis resource, seperti database, set data, model, tabel, tampilan, layanan, dan jenis kustom.
• Set data berasal dari BigQuery.

Anda dapat menggabungkan filter dari beberapa bagian untuk menemukan aset yang cocok dengan setidaknya satu kondisi dari setiap bagian yang dipilih. Beberapa filter yang dipilih dalam satu bagian dievaluasi menggunakan operator logika OR.

Misalnya, pertimbangkan kombinasi filter dalam gambar berikut (klik gambar untuk memperbesar). Filter penelusuran ini dipilih: sistem BigQuery, alias jenis table dan view, aspek My aspect type 1 dan My aspect type 2, project my-test-project, dan set data test_bq_dataset.

Katalog Dataplex mencari aset berikut:

• Tabel BigQuery di test_bq_dataset dengan aspek My aspect type 1
• Tabel BigQuery di test_bq_dataset dengan aspek My aspect type 2
• Tampilan BigQuery di test_bq_dataset dengan aspek My aspect type 1
• Tampilan BigQuery di test_bq_dataset dengan aspek My aspect type 2

Memfilter berdasarkan nilai aspek

Filter Aspek memungkinkan Anda membuat kueri untuk aset yang diberi tag menggunakan template tertentu. Anda dapat menggunakan menu Sesuaikan untuk menyaring hasil dan memfilter menurut nilai aspek tertentu lebih lanjut. Kondisi filter nilai aspek bergantung pada jenis data kolom aspek tersebut. Misalnya, untuk kolom datetime dan number, Anda dapat menentukan tanggal atau rentang tertentu.

Visibilitas filter

Filter Systems, Type aliases, Project, dan Datasets ditampilkan bergantung pada kueri saat ini di kolom Search.

Catatan: Kumpulan filter tidak dimuat ulang jika Anda mengubah filter yang dipilih. Misalnya, jika Anda memilih sistem BigQuery di bagian Sistem, filter jenis data tidak akan dipersempit ke filter khusus BigQuery seperti tabel, tampilan, atau set data.

Sebelum memulai

Sebelum menelusuri resource, pastikan Anda memiliki peran yang diperlukan dan mengaktifkan API.

Peran yang diperlukan

Bagian ini menjelaskan peran dan izin yang diperlukan untuk menelusuri resource dan mengakses hasil penelusuran.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Peran yang diperlukan untuk menelusuri entri

Untuk menelusuri entri, Anda memerlukan minimal salah satu peran IAM Katalog Dataplex di project yang digunakan untuk penelusuran. Izin pada hasil penelusuran diperiksa secara terpisah dari project yang dipilih.

Peran yang diperlukan untuk mengakses hasil penelusuran

Cakupan hasil penelusuran di Katalog Dataplex sesuai dengan peran Anda. Untuk menelusuri aset di Katalog Dataplex, Anda harus memiliki izin untuk mengakses resource yang sesuai di sistem sumber. Untuk informasi selengkapnya, lihat bagian Cakupan penelusuran dalam dokumen ini.

Misalnya, untuk menelusuri set data, tabel, tampilan, dan model BigQuery, Anda memerlukan izin masing-masing untuk entri tersebut. Untuk informasi selengkapnya, lihat izin BigQuery.

Daftar berikut menjelaskan izin minimum yang diperlukan:

• Untuk menelusuri tabel, Anda memerlukan izin bigquery.tables.get untuk tabel tersebut.
• Untuk menelusuri set data, Anda memerlukan izin bigquery.datasets.get untuk set data tersebut.
• Untuk menelusuri metadata set data atau tabel, Anda memerlukan peran BigQuery Metadata Viewer (roles/bigquery.metadataViewer).

Sebagai contoh lain, untuk menelusuri instance, database, skema, tabel, dan tampilan Cloud SQL, Anda memerlukan izin masing-masing pada entri tersebut. Untuk informasi selengkapnya, lihat Peran dan izin Cloud SQL.

Untuk menelusuri entri kustom, Anda memerlukan peran Dataplex Catalog Viewer (roles/dataplex.catalogViewer).

Mengaktifkan API

Enable the Dataplex API.

Enable the API

Menelusuri referensi

Konsol

Untuk menelusuri referensi, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Penelusuran Dataplex.

   Buka Penelusuran

2. Untuk Choose search platform, pilih Dataplex Catalog sebagai mode penelusuran.

   Dengan memilih Dataplex Catalog, Anda dapat menelusuri penyimpanan metadata Dataplex Catalog. Dengan memilih Data Catalog, Anda dapat menelusuri repositori Data Catalog, jika Anda adalah pengguna Data Catalog yang sudah ada.

3. Di kolom penelusuran, masukkan kueri Anda, atau gunakan panel Filter untuk mempertajam parameter penelusuran.

   Anda dapat menambahkan filter berikut secara manual:

   • Menambahkan filter project: di Project, klik Add project. Telusuri project tertentu, pilih project, lalu klik Buka.
   • Menambahkan filter jenis aspek: di Aspek, klik menu Tambahkan jenis aspek lainnya. Telusuri template tertentu, pilih, lalu klik OK.

4. Opsional: Selain aset yang tersedia untuk Anda, Anda dapat menelusuri resource yang tersedia secara publik di Google Cloud dengan memilih Sertakan set data publik.

Gunakan tips berikut untuk membuat kueri penelusuran:

• Sertakan ekspresi penelusuran Anda dalam tanda kutip jika berisi spasi. Contoh, "search terms"

• Anda dapat mengawali kata kunci dengan NOT untuk mencocokkan negasi logis filter keyword:term. Anda juga dapat menggunakan operator Boolean AND dan OR untuk menggabungkan ekspresi penelusuran. Operator AND, OR, dan NOT tidak peka huruf besar/kecil.

  Misalnya, NOT column:term mencantumkan semua kolom kecuali kolom yang cocok dengan istilah yang ditentukan. Untuk mengetahui daftar kata kunci dan istilah lain yang dapat Anda gunakan dalam ekspresi penelusuran Katalog Dataplex, lihat Sintaksis penelusuran.

gcloud

Untuk menelusuri resource, gunakan perintah gcloud dataplex entries search.

REST

Untuk menelusuri resource, gunakan metode searchEntries.

Melihat detail entri

Konsol

Gunakan penelusuran Katalog Dataplex untuk melihat detail entri.

1. Di konsol Google Cloud, buka halaman Penelusuran Dataplex.

   Buka Penelusuran

2. Pilih Katalog Dataplex sebagai mode penelusuran.

3. Di kotak penelusuran, masukkan nama entri.

4. Klik entri.

   Halaman detail entri akan terbuka. Halaman ini berisi bagian-bagian berikut:

   • Detail entri: mencakup informasi seperti jenis entri, sistem, platform, nama yang sepenuhnya memenuhi syarat, waktu pembuatan, waktu perubahan terakhir, deskripsi, dan penjaga.
   • Ringkasan: ringkasan entri, jika tersedia.
   • Aspek: aspek wajib dan opsional yang ditentukan untuk entri. Untuk mengetahui informasi selengkapnya, lihat Kategori aspek.

gcloud

Untuk melihat detail entri, gunakan perintah gcloud dataplex entries lookup.

REST

Untuk melihat detail entri, gunakan metode lookupEntry.

Langkah selanjutnya

• Pahami sintaksis penelusuran untuk Katalog Dataplex.
• Pelajari Dataplex Catalog lebih lanjut.
• Pelajari cara memperkaya entri dengan metadata menggunakan aspek.
• Pelajari cara mengelola entri dan menyerap sumber kustom.