Menelusuri resource di Katalog Universal Dataplex

Dokumen ini menjelaskan cara menggunakan penelusuran di Dataplex Universal Catalog untuk menelusuri resource seperti set data BigQuery, instance Cloud SQL, dan lainnya.

Dataplex Universal Catalog menawarkan dua mode penelusuran: penelusuran kata kunci dan penelusuran bahasa alami (Pratinjau).

Penelusuran kata kunci memungkinkan Anda menemukan resource menggunakan kata kunci, filter, dan sintaksis yang ditentukan.

Penelusuran natural language memperluas penelusuran kata kunci untuk mendukung kueri natural language. Dengan fitur ini, Anda dapat menemukan resource menggunakan bahasa sehari-hari, sehingga tidak perlu menggunakan sintaksis yang rumit.

Untuk mengetahui informasi selengkapnya tentang aset Google Cloud yang didukung di Dataplex Universal Catalog, lihat Sumber Google Cloud yang didukung.

Cakupan penelusuran

Hasil penelusuran di Dataplex Universal Catalog mematuhi izin yang Anda miliki atas resource terkait dalam sistem sumber.

Misalnya, jika Anda memiliki akses baca metadata BigQuery ke suatu objek, objek tersebut akan muncul di hasil penelusuran Katalog Universal Dataplex Anda. Jika Anda memiliki akses ke tabel BigQuery, tetapi tidak ke set data yang berisi tabel tersebut, tabel akan tetap muncul seperti yang diharapkan dalam penelusuran Katalog Universal Dataplex.

Secara default, penelusuran dicakup ke organisasi Anda. Hasil hanya mencakup resource dari organisasi yang sama dengan project yang Anda telusuri.

Hasil penelusuran hanya mencakup resource yang termasuk dalam perimeter VPC-SC yang sama dengan project yang digunakan untuk melakukan penelusuran. Saat menggunakan konsolGoogle Cloud , project ini adalah project yang dipilih di konsol.

Untuk memperluas cakupan hasil penelusuran Anda di luar resource dalam perimeter Kontrol Layanan VPC project Anda, gunakan aturan traffic masuk dan keluar Kontrol Layanan VPC. Aturan ini memfasilitasi pertukaran data pribadi dan efisien di seluruh organisasi Anda. Anda dapat mengonfigurasi aturan ingress dan egress menggunakan konsolGoogle Cloud atau melalui file JSON atau YAML. Lihat contoh YAML berikut dan baca dokumentasi Kontrol Layanan VPC untuk menyesuaikan aturan dengan persyaratan spesifik Anda.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Untuk mengetahui informasi selengkapnya tentang peran Identity and Access Management yang perlu Anda gunakan untuk penelusuran Dataplex Universal Catalog, lihat Peran IAM Dataplex Universal Catalog.

Mengisolasi hasil penelusuran menurut lingkungan menggunakan Kontrol Layanan VPC

Untuk mengisolasi hasil penelusuran Dataplex Universal Catalog di antara lingkungan seperti pengembangan, pengujian, dan produksi, konfigurasi perimeter Kontrol Layanan VPC terpisah untuk setiap lingkungan. Tetapkan project yang berisi aset data dan project yang digunakan untuk melakukan penelusuran ke perimeter lingkungan yang sesuai. Penelusuran yang dilakukan dari project dalam perimeter tertentu hanya akan menampilkan hasil untuk aset yang juga berada dalam perimeter yang sama.

Batasan perolehan dalam penelusuran

Kueri penelusuran Dataplex Universal Catalog tidak menjamin penarikan data sepenuhnya. Hasil yang cocok dengan kueri Anda mungkin tidak ditampilkan. Selain itu, hasil yang ditampilkan (dan tidak ditampilkan) dapat bervariasi jika Anda mengulangi kueri penelusuran.

Untuk membuat kueri semua metadata Dataplex Universal Catalog, Anda dapat mengekspor metadata ke Cloud Storage, lalu membuat kuerinya dari BigQuery. Untuk mengetahui informasi selengkapnya, lihat Mengekspor metadata.

Filter

Filter memungkinkan Anda mempersempit hasil penelusuran. Filter tersedia dalam penelusuran kata kunci dan bahasa alami, tetapi opsi yang tersedia mungkin sedikit berbeda bergantung pada modenya.

Jika Anda memberikan filter di beberapa bagian, filter tersebut akan dievaluasi menggunakan operator logika AND. Hasil penelusuran berisi referensi yang cocok dengan setidaknya satu kondisi dari setiap bagian yang dipilih. Misalnya, jika Anda memilih sistem BigQuery dan jenis resource set data, hasil penelusuran akan menyertakan set data BigQuery, tetapi tidak menyertakan set data Vertex AI.

Jika Anda memilih beberapa filter dalam satu bagian, filter tersebut akan dievaluasi menggunakan operator logika OR. Misalnya, jika Anda memilih jenis resource set data dan jenis resource tabel, hasil penelusuran akan menyertakan set data dan tabel.

Filter penelusuran kata kunci

Untuk penelusuran kata kunci, filter dikelompokkan ke dalam bagian berikut:

  • Sistem seperti BigQuery, Cloud SQL, dan lainnya. Sistem Dataplex Universal Catalog berisi entri kustom.
  • Aspek (tag) mencantumkan semua aspek yang tersedia untuk Anda.
  • Project mencantumkan semua project yang tersedia untuk Anda.
  • Alias jenis menjelaskan jenis resource, seperti database, set data, model, tabel, tampilan, layanan, dan jenis kustom.
  • Set data berasal dari BigQuery.

Memfilter menurut nilai aspek

Filter Aspek memungkinkan Anda membuat kueri untuk aset yang diberi tag menggunakan template tertentu. Anda dapat menggunakan menu Sesuaikan untuk lebih menyempurnakan hasil dan memfilter menurut nilai aspek tertentu. Kondisi filter nilai aspek bergantung pada jenis data kolom aspek tersebut. Misalnya, untuk kolom datetime dan number, Anda dapat menentukan tanggal atau rentang tertentu.

Memfilter visibilitas

Filter Sistem, Alias jenis, Project, dan Set data ditampilkan bergantung pada kueri saat ini di kolom Penelusuran.

Filter penelusuran bahasa alami

Untuk penelusuran bahasa alami, filter berikut tersedia:

  • Cakupan: telusuri di seluruh organisasi (default), project saat ini, atau hanya untuk resource berbintang. Untuk mengetahui informasi selengkapnya, lihat bagian Cakupan penelusuran dalam dokumen ini.
  • Sistem: Google Cloud layanan tempat resource berada, seperti BigQuery. Sistem Dataplex Universal Catalog berisi grup entri.
  • Project: project yang akan ditelusuri.
  • Jenis: jenis resource, seperti koneksi BigQuery, bucket Cloud Storage, atau database. Bergantung pada jenis resource, Anda juga dapat memfilter menurut subjenis, seperti jenis koneksi atau dialek SQL.
  • Pilih lokasi: lokasi yang akan ditelusuri.
  • Pilih set data: hasil penelusuran dibatasi pada resource BigQuery yang termasuk dalam set data BigQuery yang dipilih. Di kolom Ketik untuk memfilter, masukkan nama set data.
  • Jenis aspek: jenis aspek Dataplex Universal Catalog yang terkait dengan resource yang Anda cari. Untuk memfilter menurut nilai aspek, klik Filter menurut nilai anotasi, lalu pilih nilai.

Sebelum memulai

Sebelum melakukan penelusuran, pastikan Anda diberi peran yang diperlukan dan telah mengaktifkan API yang diperlukan.

Peran yang diperlukan

Bagian ini menjelaskan peran dan izin yang diperlukan untuk menelusuri resource dan mengakses hasil penelusuran.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Peran yang diperlukan untuk menelusuri entri

Untuk menelusuri entri, Anda memerlukan setidaknya salah satu peran IAM berikut di project yang digunakan untuk penelusuran: Admin Dataplex Catalog, Editor Dataplex Catalog, atau Pelihat Dataplex Catalog. Izin pada hasil penelusuran diperiksa secara terpisah dari project yang dipilih.

Peran yang diperlukan untuk mengakses hasil penelusuran

Hasil penelusuran di Dataplex Universal Catalog diberi cakupan sesuai dengan peran Anda. Untuk menelusuri aset di Dataplex Universal Catalog, Anda harus memiliki izin untuk mengakses resource yang sesuai di sistem sumber. Untuk mengetahui informasi selengkapnya, lihat bagian Cakupan penelusuran dalam dokumen ini.

Misalnya, untuk menelusuri set data, tabel, tampilan, dan model BigQuery, Anda memerlukan izin masing-masing untuk entri tersebut. Untuk mengetahui informasi selengkapnya, lihat Izin BigQuery.

Daftar berikut menjelaskan izin minimum yang diperlukan:

  • Untuk menelusuri tabel, Anda memerlukan izin bigquery.tables.get untuk tabel tersebut.
  • Untuk menelusuri set data, Anda memerlukan izin bigquery.datasets.get untuk set data tersebut.
  • Untuk menelusuri metadata set data atau tabel, Anda memerlukan peran BigQuery Metadata Viewer (roles/bigquery.metadataViewer).

Sebagai contoh lain, untuk menelusuri instance, database, skema, tabel, dan tampilan Cloud SQL, Anda memerlukan izin masing-masing pada entri tersebut. Untuk informasi selengkapnya, lihat Peran dan izin Cloud SQL.

Untuk menelusuri entri kustom, Anda memerlukan peran Dataplex Catalog Viewer (roles/dataplex.catalogViewer).

Mengaktifkan API

Enable the Dataplex API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Telusuri referensi

Konsol

Untuk menelusuri resource, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Penelusuran Dataplex Universal Catalog.

    Buka Penelusuran

  2. Untuk Pilih platform penelusuran, pilih Dataplex Universal Catalog.

    Dengan memilih Dataplex Universal Catalog, Anda dapat menelusuri penyimpanan metadata Dataplex Universal Catalog. Dengan memilih Data Catalog, Anda dapat menelusuri repositori Data Catalog, jika Anda adalah pengguna Data Catalog yang sudah ada.

  3. Untuk menggunakan penelusuran kata kunci, ikuti langkah-langkah berikut:

    1. Di kolom Temukan resource di seluruh project, masukkan kueri Anda.

    2. Untuk menyaring penelusuran, gunakan panel Filter. Untuk daftar filter yang tersedia, lihat Filter penelusuran kata kunci.

      Anda dapat menambahkan filter berikut secara manual:

      • Tambahkan filter project: di Project, klik Tambahkan project. Cari project tertentu, pilih project, lalu klik Buka.
      • Tambahkan filter jenis aspek: di Aspek, klik menu Tambahkan jenis aspek lainnya. Telusuri template tertentu, pilih template tersebut, lalu klik OK.

    3. Opsional: Selain aset yang tersedia untuk Anda, Anda dapat menelusuri resource yang tersedia untuk publik di Google Cloud dengan memilih Sertakan set data publik.

      Gunakan tips berikut untuk membuat kueri penelusuran:

      • Sertakan ekspresi penelusuran Anda dalam tanda kutip jika berisi spasi. Contoh, "search terms"
      • Awali kata kunci dengan NOT untuk mencocokkan negasi logis filter keyword:term. Anda juga dapat menggunakan operator Boolean AND dan OR untuk menggabungkan ekspresi penelusuran. Operator AND, OR, dan NOT tidak peka huruf besar/kecil.

      Misalnya, NOT column:term mencantumkan semua kolom kecuali yang cocok dengan istilah yang ditentukan. Untuk mengetahui daftar kata kunci dan istilah lain yang dapat Anda gunakan dalam ekspresi penelusuran Dataplex Universal Catalog, lihat Sintaksis penelusuran.

  4. Untuk menggunakan penelusuran bahasa alami, ikuti langkah-langkah berikut:

    1. Klik Coba penelusuran bahasa alami.

    2. Di kolom Temukan resource di seluruh project dengan bahasa alami, masukkan kueri Anda dalam bahasa alami, lalu tekan Enter.

      Berikut adalah beberapa contoh kueri:

      • Show me the datasets that contain taxi information
      • Find data on vaccine distribution across different countries
      • Get tables with historical temperature data for major world cities
      • Search for hurricane tracking and storm activity datasets
      • Population data by country

    3. Untuk mempersempit penelusuran, klik Filter. Untuk daftar filter yang tersedia, lihat Filter penelusuran bahasa alami.

  5. Untuk melihat informasi selengkapnya tentang resource yang ditelusuri, di hasil penelusuran, klik nama resource. Tindakan ini akan membuka halaman detail entri.

gcloud

Untuk menelusuri resource, gunakan perintah gcloud dataplex entries search.

REST

Untuk menelusuri resource, gunakan metode searchEntries.

Melihat detail entri

Konsol

Gunakan penelusuran Katalog Universal Dataplex untuk melihat detail entri.

  1. Menelusuri entri di Dataplex Universal Catalog.

  2. Di hasil penelusuran, klik entri yang detailnya ingin Anda lihat.

    Halaman detail entri akan terbuka. Halaman ini mencakup bagian-bagian berikut:

    • Detail entri: mencakup informasi seperti jenis entri, sistem, platform, nama yang sepenuhnya memenuhi syarat, waktu pembuatan, waktu modifikasi terakhir, deskripsi, dan pengelola.
    • Ringkasan: ringkasan entri, jika tersedia.
    • Aspek: aspek wajib dan opsional yang ditentukan untuk entri. Untuk mengetahui informasi selengkapnya, lihat Kategori aspek.

gcloud

Untuk melihat detail entri, gunakan perintah gcloud dataplex entries lookup.

REST

Untuk melihat detail entri, gunakan metode lookupEntry.

Batasan

Berikut adalah batasan penelusuran bahasa alami:

  • Penelusuran bahasa alami dioptimalkan untuk penemuan dan eksplorasi dengan menampilkan serangkaian hasil yang paling relevan. Daftar ini mungkin tidak memberikan daftar lengkap semua item yang cocok dan oleh karena itu mungkin tidak cocok untuk beban kerja yang bergantung pada hal ini, seperti pipeline kurasi.

  • Penelusuran bahasa alami hanya mempertimbangkan metadata resource, termasuk skema, deskripsi, dan aspek. Fitur ini tidak menjawab pertanyaan tentang data dalam tabel (misalnya, "Berapa penjualan bulan lalu?") atau menjalankan kueri analitis pada metadata (misalnya, "Ada berapa tabel dalam set data X?").

  • Sumber daya publik berada di luar cakupan penelusuran natural language.

Langkah berikutnya