Mengelola aset data menggunakan Data Catalog

Data Catalog adalah fitur Dataplex yang secara otomatis membuat katalog metadata tentang resource Bigtable. Fitur ini membantu organisasi Anda menelusuri dan mengelola aset data Bigtable.

Metadata disinkronkan secara otomatis dari Bigtable ke Data Catalog untuk resource Bigtable berikut:

  • Instance
  • Cluster
  • Tabel, termasuk detail grup kolom

Data Catalog adalah layanan pengelolaan metadata yang terkelola sepenuhnya dalam Dataplex. Data Catalog menyediakan mekanisme pemberian tag dan tampilan terpadu untuk metadata teknis dan bisnis. Untuk mempelajari Data Catalog lebih lanjut dan alasan Anda harus menggunakannya, lihat Apa itu Data Catalog.

Manfaat menggunakan Data Catalog dengan Bigtable

Informasi Data Catalog tentang data Anda dapat membantu memfasilitasi analisis, penggunaan kembali data, pengembangan aplikasi, dan pengelolaan data.

Anda dapat menelusuri entri di Katalog Data berdasarkan nama resource atau berdasarkan detail. Misalnya, Anda dapat menelusuri nama instance untuk menemukan entri untuk instance atau menelusuri keluarga kolom untuk menemukan entri untuk tabel. Anda juga dapat menggunakan penelusuran berdimensi, yang menerapkan filter untuk mempersempit penelusuran. Untuk mengetahui informasi selengkapnya, lihat Menelusuri dan melihat aset data dengan Data Catalog.

Memberi tag pada aset data dapat membantu Anda memahami dan membuat katalog data yang tersedia di tabel Bigtable agar data lebih mudah ditemukan dan ditelusuri oleh pengguna Katalog Data lainnya, serta sebagai bagian dari kumpulan data yang lebih besar. Anda menggunakan tag untuk menambahkan metadata Anda sendiri ke metadata yang dikatalogkan, lalu Anda dapat menggunakan tag tersebut untuk melakukan penelusuran.

Mulai menggunakan Data Catalog

Untuk mulai menggunakan Data Catalog guna mengelola aset data Bigtable, selesaikan tugas berikut:

  1. Jika Anda baru menggunakan Data Catalog, aktifkan API.

  2. Berikan peran IAM kepada akun utama yang memerlukan akses ke entri Bigtable di Data Catalog.

  3. Pelajari cara menelusuri aset data dengan membaca Cara menelusuri dengan Data Catalog.

  4. Tinjau sintaksis penelusuran Data Catalog untuk memahami cara menemukan metadata Anda.

  5. Baca konsep tentang pemberian tag pada entri Data Catalog di Tag dan template tag

Cara menelusuri metadata Bigtable

Anda dapat menelusuri metadata Bigtable yang disinkronkan menggunakan Data Catalog.

Selain penentu standar, Anda dapat menelusuri resource Bigtable dengan hal berikut:

  • Instance

    • Nama instance Bigtable
    • ID instance Bigtable
    • Lokasi cluster
    • ID cluster

  • Tabel

    • ID tabel
    • Nama grup kolom
    • Nama instance Bigtable
    • ID instance Bigtable

Peran yang diperlukan

Melihat, memberi tag, dan menelusuri resource Bigtable di Data Catalog memiliki persyaratan izin yang berbeda. Secara umum, berikan akun utama di organisasi Anda peran minimum yang diperlukan untuk menyelesaikan tugas.

Izin untuk melihat tag publik dan pribadi

Untuk mendapatkan izin yang diperlukan guna melihat tag publik dan pribadi di resource Bigtable, minta administrator untuk memberi Anda peran IAM berikut:

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk melihat tag publik dan tag pribadi. Izin yang benar-benar diperlukan adalah sebagai berikut:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • datacatalog.tagTemplates.getTag

Izin untuk menelusuri resource Bigtable

Untuk mendapatkan izin yang diperlukan guna menelusuri resource Bigtable di Data Catalog, minta administrator untuk memberi Anda peran IAM berikut:

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk menelusuri resource Bigtable. Izin yang benar-benar diperlukan adalah sebagai berikut:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Izin untuk melampirkan tag ke resource Bigtable

Untuk mendapatkan izin yang diperlukan guna melampirkan tag ke resource Bigtable di Data Catalog, minta administrator untuk memberi Anda peran IAM berikut:

Peran bawaan ini berisi izin yang diperlukan untuk menambahkan tag publik dan tag pribadi. Izin yang benar-benar diperlukan adalah sebagai berikut:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • datacatalog.tagTemplates.use
  • datacatalog.entries.updateTag

(Opsional) Membuat peran khusus

Anda dapat membuat peran khusus untuk diberikan kepada pengguna yang memerlukan akses lengkap ke semua metadata Bigtable di Data Catalog di seluruh project atau organisasi Anda. Kemudian, Anda dapat membuat akun pengguna atau akun layanan yang memerlukan akses sebagai akun utama peran kustom. Untuk mempelajari peran khusus lebih lanjut, lihat Peran dan izin.

Pilih nama yang bermakna untuk peran tersebut, seperti Bigtable Data Catalog Editor, lalu tetapkan hanya akun utama yang memerlukan akses ke peran tersebut. Untuk mengetahui petunjuk penyiapan, lihat Membuat peran kustom.

Berikan izin berikut ke peran khusus:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • datacatalog.tagTemplates.getTag
  • datacatalog.tagTemplates.use

Untuk mengetahui detail tentang izin Data Catalog, lihat Peran untuk menelusuri resource Google Cloud. Untuk deskripsi izin Bigtable, lihat Izin.

Batasan yang diketahui

Bagian berikut mencantumkan beberapa batasan yang harus Anda perhatikan sebelum menggunakan Data Catalog untuk mengelola metadata Bigtable.

Batasan lokasi

Jika organisasi Anda telah menyiapkan batasan lokasi, entri metadata untuk resource Bigtable Anda mungkin tidak disinkronkan ke Katalog Data. Setiap entri yang dibuat sebelum menerapkan batasan lokasi akan disimpan oleh Katalog Data.

Agar Katalog Data dapat memuat resource, sebaiknya tambahkan multi-region global ke kebijakan lokasi Anda.

Pengecualian nama grup kolom

Data Catalog API menolak permintaan jika nama keluarga kolom dalam permintaan Anda menyertakan titik (.). Misalnya, jika nama keluarga kolom adalah personal.info.

Langkah selanjutnya