Mengelola referensi menggunakan Data Catalog

Halaman ini menjelaskan cara menelusuri dan mengelola resource Spanner menggunakan Data Catalog.

Data Catalog adalah layanan pengelolaan metadata yang skalabel dan terkelola sepenuhnya di dalam Dataplex. Alat ini otomatis membuat katalog metadata berikut tentang instance, database, tabel, kolom, dan tampilan Spanner:

• Nama dan nama yang sepenuhnya memenuhi syarat
• Lokasi (wilayah)
• Tanggal pembuatan dan tanggal terakhir diubah
• Skema (untuk tabel dan tampilan)
• Deskripsi

Metadata Spanner otomatis disinkronkan ke Data Catalog pada interval reguler, biasanya setiap beberapa jam. Anda dapat menggunakan Data Catalog untuk menemukan dan memahami metadata Spanner. Gunakan Data Catalog untuk membantu aktivitas berikut:

• Analisis, termasuk dependensi dan kesesuaian untuk kasus penggunaan
• Pengelolaan perubahan
• Perpindahan data (pipeline)
• Evolusi skema

Dengan Data Catalog, Anda dapat menyeleksi metadata dengan melampirkan tag ke entri metadata Spanner. Setiap tag dapat memiliki beberapa kolom metadata, dan dapat didasarkan pada template tag standar atau kustom.

Misalnya, Anda dapat melampirkan tag berikut ke kolom yang berisi nomor jaminan sosial, yang merupakan informasi identitas pribadi (PII):

pii:true
pii_type:SSN

Saat Anda memindahkan instance yang menggunakan tag, tag tidak secara otomatis dipindahkan ke instance tujuan. Sebagai gantinya, Anda perlu mengekspor tag dari instance sumber sebelum memindahkan instance, dan mengimpor tag ke instance tujuan. Untuk mengetahui informasi selengkapnya, lihat Mengekspor dan mengimpor tag.

Untuk mempelajari Data Catalog lebih lanjut, lihat Apa yang dimaksud dengan Data Catalog.

Catatan: Data Catalog menyebut resource di Spanner dan di layanan Google Cloud lainnya sebagai aset. Di halaman ini, kita merujuk resource Spanner—instance, database, tabel, dan tampilan—sebagai aset Spanner. Kami juga menggunakan istilah aset untuk merujuk ke resource dan metadata Data Catalog untuk resource tersebut.

Sebelum memulai

1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

6. Aktifkan Data Catalog API untuk project.

   Mengaktifkan Data Catalog API

7. Periksa izin.

   Anda memerlukan peran Identity and Access Management (IAM) dan izin tertentu untuk menelusuri dan melampirkan tag ke aset Spanner. Untuk mengetahui detailnya, lihat Peran dan izin IAM yang diperlukan untuk Data Catalog.

Membuat template tag

Kuil tag adalah struktur yang dapat digunakan kembali yang dapat Anda gunakan untuk membuat tag baru dengan cepat. Template membantu Anda menghindari duplikasi tugas dan tag yang tidak lengkap. Buat template tag sebanyak yang Anda butuhkan.

Untuk mempelajari lebih lanjut, lihat Tag dan template tag.

Melampirkan tag ke aset Spanner

Dengan melampirkan tag ke aset Spanner, Anda dapat melakukan hal berikut:

• Menambahkan metadata bisnis ke aset.
• Telusuri aset berdasarkan metadata bisnis dan metadata kustom lainnya.

Untuk mempelajari lebih lanjut, lihat Tag dan template tag.

Menelusuri aset Spanner

Gunakan halaman penelusuran Dataplex di Konsol Google Cloud untuk menelusuri aset Spanner.

1. Buka halaman penelusuran Dataplex.

   Buka Dataplex

2. Di Filters panel, di bagian Systems, pilih Spanner.

   Dataplex menampilkan semua aset Spanner yang diketahui.

3. Opsional: Lakukan salah satu tindakan berikut untuk mempersempit penelusuran:

   • Gunakan penelusuran berfaset di halaman Penelusuran. Pilih kotak centang di bagian Data types, Projects, dan Tags.

   • Di kolom penelusuran, tambahkan parameter penelusuran setelah system=cloud_spanner. Pisahkan parameter dengan spasi.

   Misalnya, untuk hanya melihat database, masukkan teks berikut di kolom penelusuran, lalu tekan Enter.

    system=cloud_spanner type=database
   

   Catatan: Untuk menelusuri instance Spanner, gunakan type=service. Untuk menelusuri konfigurasi instance, gunakan instance_config=configuration-name.

   Anda juga dapat menggunakan tanda kurung serta operator logika and dan or untuk ekspresi kompleks. Untuk mempelajari lebih lanjut ekspresi yang dapat Anda gunakan di kolom penelusuran, lihat Sintaksis penelusuran Data Catalog.

4. Di tabel hasil, klik nama aset untuk melihat metadata aset tersebut.

5. Opsional: Lakukan salah satu tindakan berikut:

   • Klik TAMBAHKAN RINGKASAN untuk menambahkan deskripsi rich text pada aset.
   • Klik LAMPIKAN TAG untuk menambahkan tag ke aset.
   • Untuk tabel, klik tab SCHEMA untuk melihat kolom tabel.
   • Untuk instance (SERVICE), guna melihat database anggota, klik tab DAFTAR MASUK, lalu klik LIHAT ENTRI ANAK DI PENELUSURAN. (Jika tab ENTRY LIST tidak muncul, berarti instance tidak memiliki database.)

Contoh alur kerja - Melihat perincian dari instance ke kolom

Dalam contoh alur kerja ini, Anda mulai dengan menelusuri instance Spanner, lalu melihat database anggota, lalu melihat tabel dalam database tersebut, lalu melihat kolom dalam tabel.

1. Buka halaman penelusuran Dataplex.

   Buka Dataplex

2. Di Filters panel, di bagian Systems, pilih Spanner.

3. Untuk melihat semua instance Spanner di Data Catalog, centang kotak Layanan di bagian Jenis data, atau masukkan teks berikut di kolom penelusuran dan tekan Enter.

   system=cloud_spanner type=service
   

4. Pilih nama instance.

5. Di halaman Detail layanan Spanner, klik tab DAFTAR ENTRI, lalu klik LIHAT ENTRI ANAK DALAM PENELUSURAN.

   Dataplex menampilkan database dalam instance.

   Catatan: Jika tidak ada tab ENTRY LIST, kembali ke halaman Search, lalu pilih instance yang berbeda.

6. Di halaman detail database Spanner, klik tab DAFTAR ENTRI, lalu klik LIHAT ENTRI ANAK DALAM PENELUSURAN.

   Dataplex menampilkan tabel dalam database.

7. Pilih nama tabel, lalu pada halaman Detail tabel Spanner, klik SCHEMA untuk melihat kolom tabel.

8. Opsional: Untuk menambahkan tag ke kolom, klik tanda plus di bagian Tag kolom.

Catatan: Alur kerja ini menunjukkan perincian dari instance ke tabel. Anda dapat langsung membuka daftar tabel menggunakan panel Filters atau dengan memasukkan system=cloud_spanner,type=table di kolom penelusuran.

Mengekspor dan mengimpor tag

Saat Anda memindahkan instance Spanner, proses pemindahan akan menghapus tag instance yang Anda buat di Data Catalog. Untuk mempertahankan tag, Anda perlu melakukan hal berikut:

• Mengkueri tag yang terkait dengan instance.
• Salin detail untuk tag tersebut.
• Buat tag pada instance yang dipindahkan.

Spanner menyinkronkan data setiap 6 jam. Setiap perubahan metadata yang dibuat pada aset Spanner seperti instance, database, tabel, tampilan, atau kolom memerlukan waktu sekitar 6 jam untuk diterapkan ke Data Catalog.

Mengekspor tag dari konfigurasi instance sumber

Guna menampilkan daftar tag untuk instance (grup entri atau entri), gunakan perintah gcloud data-catalog tags list Google Cloud CLI sebagai berikut:

curl \
'https://datacatalog.googleapis.com/v1/projects/PROJECT/locations/LOCATION/entryGroups/ENTRY_GROUP/tags?key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --compressed

Ganti kode berikut:

• PROJECT: Project yang berisi tag.
• LOCATION: Lokasi untuk tag.
• API_KEY: String unik yang memungkinkan Anda mengakses API.
• ACCESS_TOKEN: Token akses yang digunakan aplikasi Anda untuk melakukan autentikasi ke layanan.

Mengimpor tag ke konfigurasi tujuan

Sebelum Anda menyelesaikan prosedur ini, lakukan hal berikut:

• Pindahkan instance.
• Memperbarui Data Catalog dengan metadata.

Untuk menyalin tag, buat tag pada instance yang dipindahkan menggunakan perintah gcloud data-catalog tags create sebagai berikut:

curl --request POST \
'https://datacatalog.googleapis.com/v1/entries:lookup?fullyQualifiedName=FQN&location=LOCATION&project=PROJECT&key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --header 'Content-Type: application/json' \
  --data '{"column":"myColumnName","name":"myTagName","template":"myTemplateName","fields":{"myDoubleField":{"doubleValue":0}}}' \
  --compressed

Ganti kode berikut:

• FQN: Nama yang sepenuhnya memenuhi syarat (FQN) resource. FQN memiliki dua bentuk:

  Untuk resource non-regional: {SYSTEM}:{PROJECT}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Untuk resource yang diregionalkan: {SYSTEM}:{PROJECT}.{LOCATION_ID}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Contoh tabel DPMS:

  dataproc_metastore:{PROJECT_ID}.{LOCATION_ID}.{INSTANCE_ID}.{DATABASE_ID}.{TABLE_ID}

• LOCATION: Lokasi tempat pencarian dilakukan.

• PROJECT: Memproyeksikan tempat pencarian dilakukan.

• API_KEY: String unik yang memungkinkan Anda mengakses API.

• ACCESS_TOKEN: Token akses yang digunakan aplikasi Anda untuk melakukan autentikasi ke layanan.

Peran dan izin IAM yang diperlukan untuk Data Catalog

Tabel berikut menunjukkan peran dan izin IAM yang diperlukan untuk berbagai operasi Data Catalog.

Catatan: Data Catalog tidak mendukung kontrol akses yang mendetail Spanner.

Operasi Data Catalog	Referensi Spanner	Peran atau izin diperlukan
Buat template tag	T/A	roles/datacatalog.tagTemplateCreator
Menelusuri resource Spanner	Instance	spanner.instances.get
	Database	spanner.databases.get
	Tabel	spanner.databases.get
	Tabel Virtual	spanner.databases.get
Lihat tag publik	Instance	spanner.instances.get
	Database	spanner.databases.get
	Tabel	spanner.databases.get
	Tabel Virtual	spanner.databases.get
Lihat tag pribadi	Instance	datacatalog.tagTemplates.getTag + spanner.instances.get
	Database	datacatalog.tagTemplates.getTag + spanner.databases.get
	Tabel	datacatalog.tagTemplates.getTag + spanner.databases.get
	Tabel Virtual	datacatalog.tagTemplates.getTag + spanner.databases.get
Melampirkan tag ke resource Spanner menggunakan template tag	Instance	datacatalog.tagTemplates.use + spanner.instances.updateTag
	Database	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Tabel	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Tabel Virtual	datacatalog.tagTemplates.use + spanner.databases.updateTag

Izin spanner.instances.UpdateTag disertakan dalam peran berikut:

• roles/spanner.admin

Izin spanner.databases.UpdateTag disertakan dalam peran berikut:

• roles/spanner.admin
• roles/spanner.databaseAdmin
• roles/spanner.databaseUser

Untuk mengetahui informasi selengkapnya, lihat Peran yang telah ditetapkan.

Langkah selanjutnya

• Apa itu Data Catalog
• Peran untuk menelusuri resource Google Cloud
• Tentang kontrol akses yang terperinci