Menelusuri aset data di Dataplex Catalog

Gunakan pencarian di Dataplex Catalog untuk mencari aset data seperti seperti set data BigQuery, instance Cloud SQL, dan lain-lain. Untuk selengkapnya informasi tentang aset Google Cloud yang didukung dalam Dataplex Catalog, lihat Sumber Google Cloud yang didukung.

Cakupan penelusuran

Hasil penelusuran di Dataplex Catalog menghormati izin yang yang dimilikinya terhadap sumber daya yang sesuai di sistem sumber.

Misalnya, jika Anda memiliki akses baca metadata BigQuery ke , objek tersebut akan muncul di penelusuran Dataplex Catalog Anda hasil pengujian tersebut. Jika Anda memiliki akses ke tabel BigQuery tetapi tidak ke yang berisi tabel itu, tabel itu tetap muncul seperti yang diharapkan pada Penelusuran Dataplex Catalog.

Hasil penelusuran hanya menyertakan resource milik VPC-SC yang sama perimeter sebagai proyek di mana pencarian dilakukan. Saat menggunakan Konsol Google Cloud, ini adalah project yang dipilih di konsol.

Untuk memperluas cakupan hasil penelusuran di luar resource dalam perimeter Kontrol Layanan VPC project Anda, gunakan aturan masuk dan keluar Kontrol Layanan VPC. Aturan ini memfasilitasi pertukaran data pribadi dan efisien di seluruh organisasi Anda. Anda dapat mengonfigurasi aturan masuk dan keluar menggunakan Konsol Google Cloud atau melalui file JSON atau YAML. Lihat contoh YAML berikut dan baca dokumentasi Kontrol Layanan VPC untuk menyesuaikan aturan dengan kebutuhan spesifik Anda.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Untuk mengetahui informasi selengkapnya tentang peran IAM Dataplex Catalog, lihat Peran IAM Dataplex.

Batasan recall dalam penelusuran

Kueri penelusuran Dataplex Catalog tidak menjamin penarikan penuh. Hasil yang cocok dengan kueri Anda mungkin tidak ditampilkan, bahkan di hasil berikutnya halaman. Selain itu, hasil yang dikembalikan (dan tidak dikembalikan) dapat bervariasi jika Anda mengulangi kueri penelusuran.

Filter

Filter memungkinkan Anda mempersempit hasil penelusuran. Semua filter dikelompokkan dalam bagian:

  • Sistem seperti BigQuery, Cloud SQL, dan lainnya. Tujuan Sistem Dataplex berisi entri kustom.
  • Aspek (tag) mencantumkan semua aspek yang tersedia untuk Anda.
  • Project mencantumkan semua project yang tersedia untuk Anda.
  • Alias jenis yang mendeskripsikan jenis resource, seperti database, set data, model, tabel, tampilan, layanan, dan jenis kustom.
  • Set data berasal dari BigQuery.

Anda dapat menggabungkan filter dari beberapa bagian untuk menemukan aset yang cocok di setidaknya satu kondisi dari setiap bagian yang dipilih. Beberapa filter yang dipilih dalam satu bagian dievaluasi menggunakan operator logika OR.

Misalnya, pertimbangkan kombinasi filter dalam gambar berikut (klik gambar untuk memperbesar). Filter penelusuran ini dipilih: sistem BigQuery, jenis alias table dan view, aspek My aspect type 1 dan My aspect type 2, project my-test-project, dan set data test_bq_dataset.

Filter penelusuran yang menampilkan beberapa pilihan.

Dataplex Catalog mencari aset berikut:

  • Tabel BigQuery di test_bq_dataset dengan aspek My aspect type 1
  • Tabel BigQuery di test_bq_dataset dengan aspek My aspect type 2
  • Tampilan BigQuery di test_bq_dataset dengan aspek My aspect type 1
  • Tampilan BigQuery di test_bq_dataset dengan aspek My aspect type 2

Filter menurut nilai aspek

Filter Aspek memungkinkan Anda mengajukan kueri untuk aset yang diberi tag menggunakan {i>template<i}. Anda dapat menggunakan menu Sesuaikan untuk lebih menyaring hasil dan filter menurut nilai aspek tertentu. Kondisi filter nilai aspek bergantung pada tipe data {i>field<i} aspek itu. Misalnya, untuk datetime dan number bidang, Anda dapat menentukan tanggal atau rentang tertentu.

Visibilitas filter

Filter Sistem, Alias jenis, Project, dan Set data adalah ditampilkan bergantung pada kueri saat ini di kolom Penelusuran.

Sebelum memulai

Sebelum Anda menelusuri aset data, lakukan hal-hal berikut.

Peran yang diperlukan

Bagian ini menjelaskan peran dan izin yang diperlukan untuk menelusuri data aset dan untuk mengakses hasil penelusuran.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Kelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau setelan lainnya peran bawaan.

Peran yang diperlukan untuk menelusuri entri

Untuk menelusuri entri, Anda memerlukan setidaknya salah satu Peran IAM Dataplex Catalog pada proyek yang digunakan untuk pencarian. Izin pada hasil penelusuran diperiksa secara terpisah dari proyek yang dipilih.

Peran yang diperlukan untuk mengakses hasil penelusuran

Cakupan hasil penelusuran di Dataplex Catalog sesuai dengan peran Anda. Untuk mencari aset di Dataplex Catalog, Anda harus memiliki izin untuk mengakses sumber daya yang sesuai di sistem sumber. Untuk mengetahui informasi selengkapnya, lihat bagian Cakupan penelusuran dokumen ini.

Misalnya, untuk menelusuri {i>dataset<i}, tabel, tampilan, dan BigQuery BigQuery Anda memerlukan izin masing-masing untuk entri tersebut. Untuk informasi selengkapnya, lihat Izin BigQuery. Daftar berikut menjelaskan izin minimum yang diperlukan:

  • Untuk menelusuri tabel, Anda memerlukan izin bigquery.tables.get untuk itu tabel sementara.
  • Untuk menelusuri set data, Anda memerlukan izin bigquery.datasets.get untuk tindakan tersebut {i>dataset<i} aslinya.
  • Untuk mencari {i>metadata<i} untuk {i>dataset<i} atau tabel, Anda memerlukan BigQuery Peran Metadata Viewer (roles/bigquery.metadataViewer).

Contoh lainnya, untuk menelusuri instance, database, skema, tabel, dan tabel virtual, Anda memerlukan izin akses masing-masing pada entri tersebut. Untuk selengkapnya informasi, lihat Peran dan izin Cloud SQL.

Untuk mencari entri kustom, Anda memerlukan peran Dataplex Catalog Viewer (roles/dataplex.catalogViewer).

Mengaktifkan API

Aktifkan API Dataplex.

Mengaktifkan API

Menelusuri aset data

Konsol

Untuk menelusuri aset data, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Penelusuran Dataplex.

    Buka Penelusuran

  2. Untuk Choose search platform, pilih Dataplex Catalog sebagai mode penelusuran.

    Dengan memilih Dataplex Catalog, Anda dapat menelusuri Penyimpanan metadata Dataplex Catalog. Memilih Data Catalog memungkinkan Anda menelusuri Data Catalog Anda repositori data, jika Anda adalah pengguna Data Catalog yang sudah ada.

  3. Di kolom penelusuran, masukkan kueri Anda, atau gunakan panel Filter untuk menyaring parameter penelusuran.

    Anda dapat menambahkan filter berikut secara manual:

    • Tambahkan filter project: di Project, klik Add project. Telusuri untuk project tertentu, pilih project, lalu klik Open.
    • Tambahkan filter jenis aspek: di Aspek, klik Menu Tambahkan jenis aspek lainnya. Telusuri template tertentu, pilih API tersebut, lalu klik OK.

  4. Opsional: Selain aset yang tersedia untuk Anda, Anda dapat menelusuri aset data yang tersedia secara publik di Google Cloud, dengan memilih Sertakan set data publik.

Gunakan tips berikut ini untuk membuat kueri penelusuran:

  • Sertakan ekspresi penelusuran dalam tanda kutip jika berisi spasi. Contoh, "search terms"

  • Anda dapat mengawali kata kunci dengan NOT untuk mencocokkan negasi logis dari Filter keyword:term. Anda juga dapat menggunakan operator Boolean AND dan OR menggabungkan ekspresi penelusuran. Operator AND, OR, dan NOT tidak peka huruf besar/kecil.

    Misalnya, NOT column:term mencantumkan semua kolom kecuali yang cocok istilah yang ditentukan. Untuk daftar kata kunci dan istilah lain yang dapat Anda gunakan di ekspresi pencarian Dataplex Catalog, lihat Sintaksis penelusuran.

gcloud

Untuk mencari aset data, gunakan Perintah gcloud dataplex entries search.

REST

Untuk menelusuri aset data, gunakan metode searchEntries.

Melihat detail entri

Konsol

Gunakan penelusuran Dataplex Catalog untuk melihat detail entri.

  1. Di konsol Google Cloud, buka halaman Penelusuran Dataplex.

    Buka Penelusuran

  2. Pilih Dataplex Catalog sebagai mode penelusuran.

  3. Di kotak penelusuran, masukkan nama entri.

  4. Klik entri.

    Halaman detail entri akan terbuka. Halaman ini mencakup bagian-bagian berikut:

    • Detail entri: mencakup informasi seperti jenis entri, sistem, platform, nama yang sepenuhnya memenuhi syarat, waktu pembuatan, waktu terakhir diubah, deskripsi, dan pengawas.
    • Ringkasan: ringkasan entri, jika tersedia.
    • Aspek: aspek wajib dan opsional yang ditentukan untuk entri. Untuk informasi selengkapnya, lihat Kategori aspek.

gcloud

Untuk melihat detail entri, gunakan Perintah gcloud dataplex entries lookup.

REST

Untuk melihat detail entri, gunakan Metode lookupEntry.

Langkah selanjutnya