Mengelola referensi menggunakan Data Catalog

Halaman ini menjelaskan cara menelusuri dan mengelola resource Spanner menggunakan Data Catalog.

Data Catalog adalah layanan pengelolaan metadata yang skalabel dan terkelola sepenuhnya dalam Dataplex. Data Catalog secara otomatis membuat katalog metadata berikut tentang instance, database, tabel, kolom, dan tampilan Spanner:

• Nama dan nama yang sepenuhnya memenuhi syarat
• Lokasi (wilayah)
• Tanggal pembuatan dan tanggal terakhir diubah
• Skema (untuk tabel dan tampilan)
• Deskripsi

Metadata Spanner otomatis disinkronkan ke Data Catalog pada interval teratur, biasanya setiap beberapa jam. Anda dapat menggunakan Data Catalog untuk menemukan dan memahami metadata Spanner. Gunakan Data Catalog untuk membantu aktivitas berikut:

• Analisis, termasuk dependensi dan kesesuaian untuk kasus penggunaan
• Pengelolaan perubahan
• Perpindahan data (pipeline)
• Evolusi skema

Dengan Data Catalog, Anda dapat menyeleksi metadata dengan melampirkan tag ke entri metadata Spanner. Setiap tag dapat memiliki beberapa kolom metadata, dan dapat didasarkan pada template tag standar atau kustom.

Misalnya, Anda dapat melampirkan tag berikut ke kolom yang berisi nomor jaminan sosial, yang merupakan informasi identitas pribadi (PII):

pii:true
pii_type:SSN

Saat Anda memindahkan instance yang menggunakan tag, tag tidak otomatis dipindahkan ke instance tujuan. Sebagai gantinya, Anda perlu mengekspor tag dari instance sumber sebelum memindahkan instance, dan mengimpor tag ke instance tujuan. Untuk mengetahui informasi selengkapnya, lihat Mengekspor dan mengimpor tag.

Untuk mempelajari Data Catalog lebih lanjut, lihat Apa itu Data Catalog.

Catatan: Katalog Data merujuk pada resource di Spanner dan di layanan Google Cloud lainnya sebagai aset. Di halaman ini, kami menyebut resource Spanner—instance, database, tabel, dan tampilan—sebagai aset Spanner. Kami juga menggunakan istilah aset untuk merujuk ke resource dan metadata Data Catalog untuk resource tersebut.

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Aktifkan Data Catalog API untuk project.

   Mengaktifkan Data Catalog API

7. Periksa izin.

   Anda memerlukan peran dan izin Identity and Access Management (IAM) tertentu untuk menelusuri dan melampirkan tag ke aset Spanner. Untuk mengetahui detailnya, lihat Peran dan izin IAM yang diperlukan untuk Data Catalog.

Membuat template tag

Template tag adalah struktur yang dapat digunakan kembali dan dapat Anda gunakan untuk membuat tag baru dengan cepat. Template membantu Anda menghindari duplikasi pekerjaan dan tag yang tidak lengkap. Buat template tag sebanyak yang Anda perlukan.

Untuk mempelajari lebih lanjut, lihat Tag dan template tag.

Melampirkan tag ke aset Spanner

Dengan melampirkan tag ke aset Spanner, Anda dapat melakukan hal berikut:

• Tambahkan metadata bisnis ke aset.
• Telusuri aset berdasarkan metadata bisnis dan metadata kustom lainnya.

Untuk mempelajari lebih lanjut, lihat Tag dan template tag.

Menelusuri aset Spanner

Gunakan halaman penelusuran Dataplex di konsol Google Cloud untuk menelusuri aset Spanner.

1. Buka halaman penelusuran Dataplex.

   Buka Dataplex

2. Di panel Filter, pada bagian Sistem, pilih Spanner.

   Dataplex menampilkan semua aset Spanner yang diketahui.

3. Opsional: Lakukan salah satu tindakan berikut untuk mempersempit penelusuran:

   • Gunakan penelusuran dengan faset di halaman Telusuri. Pilih kotak centang di bagian Jenis data, Project, dan Tag.

   • Di kolom penelusuran, tambahkan parameter penelusuran setelah system=cloud_spanner. Pisahkan parameter dengan spasi.

   Misalnya, untuk hanya melihat database, masukkan teks berikut di kolom penelusuran, lalu tekan Enter.

    system=cloud_spanner type=database
   

   Catatan: Untuk menelusuri instance Spanner, gunakan type=service. Untuk menelusuri konfigurasi instance, gunakan instance_config=configuration-name.

   Anda juga dapat menggunakan tanda kurung dan operator logis and dan or untuk ekspresi yang kompleks. Untuk mempelajari lebih lanjut ekspresi yang dapat Anda gunakan di kolom penelusuran, lihat Sintaksis penelusuran Data Catalog.

4. Di tabel hasil, klik nama aset untuk melihat metadata untuk aset tersebut.

5. Opsional: Lakukan salah satu tindakan berikut:

   • Klik TAMBAHKAN RINGKASAN untuk menambahkan deskripsi teks panjang aset.
   • Klik LAMPIRKAN TAG untuk menambahkan tag ke aset.
   • Untuk tabel, klik tab SCHEMA untuk melihat kolom tabel.
   • Untuk instance (SERVICE), guna melihat database anggota, klik tab ENTRY LIST, lalu klik VIEW CHILD ENTRIES IN SEARCH. (Jika tab DAFTAR ENTRI tidak muncul, berarti instance tidak memiliki database.)

Contoh alur kerja - Melihat perincian dari instance ke kolom

Dalam contoh alur kerja ini, Anda memulai dengan menelusuri instance Spanner, lalu melihat database anggota, lalu melihat tabel dalam database tersebut, lalu melihat kolom dalam tabel.

1. Buka halaman penelusuran Dataplex.

   Buka Dataplex

2. Di panel Filter, pada bagian Sistem, pilih Spanner.

3. Untuk melihat semua instance Spanner di Katalog Data, pilih kotak centang Layanan di bagian Jenis data, atau masukkan teks berikut di kolom penelusuran dan tekan Enter.

   system=cloud_spanner type=service
   

4. Pilih nama instance.

5. Di halaman Detail layanan Spanner, klik tab ENTRY LIST, lalu klik VIEW CHILD ENTRIES IN SEARCH.

   Dataplex menampilkan database dalam instance.

   Catatan: Jika tidak ada tab DAFTAR ENTRI, kembali ke halaman Telusuri dan pilih instance lain.

6. Di halaman Spanner database details, klik tab ENTRY LIST, lalu klik VIEW CHILD ENTRIES IN SEARCH.

   Dataplex menampilkan tabel dalam database.

7. Pilih nama tabel, lalu di halaman Detail tabel Spanner, klik SCHEMA untuk melihat kolom tabel.

8. Opsional: Untuk menambahkan tag ke kolom, klik tanda plus di bagian Tag kolom.

Catatan: Alur kerja ini menunjukkan pengelompokan dari instance ke tabel. Anda dapat langsung membuka daftar tabel menggunakan panel Filter atau dengan memasukkan system=cloud_spanner,type=table di kolom penelusuran.

Mengekspor dan mengimpor tag

Saat Anda memindahkan instance Spanner, proses pemindahan akan menghapus tag instance yang Anda buat di Data Catalog. Untuk mempertahankan tag, Anda perlu melakukan hal berikut:

• Buat kueri tag yang terkait dengan instance.
• Salin detail untuk tag.
• Buat tag di instance yang dipindahkan.

Spanner menyinkronkan data setiap 6 jam. Setiap perubahan metadata yang dilakukan pada aset Spanner seperti instance, database, tabel, tampilan, atau kolom dapat memerlukan waktu sekitar 6 jam untuk diterapkan ke Data Catalog.

Mengekspor tag dari konfigurasi instance sumber

Untuk membuat daftar tag untuk instance (entri atau grup entri), gunakan perintah gcloud data-catalog tags list Google Cloud CLI sebagai berikut:

curl \
'https://datacatalog.googleapis.com/v1/projects/PROJECT/locations/LOCATION/entryGroups/ENTRY_GROUP/tags?key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --compressed

Ganti kode berikut:

• PROJECT: Project yang berisi tag.
• LOCATION: Lokasi untuk tag.
• API_KEY: String unik yang memungkinkan Anda mengakses API.
• ACCESS_TOKEN: Token akses yang digunakan aplikasi Anda untuk melakukan autentikasi ke layanan.

Mengimpor tag ke konfigurasi tujuan

Sebelum menyelesaikan prosedur ini, lakukan hal berikut:

• Pindahkan instance.
• Perbarui Data Catalog dengan metadata.

Untuk menyalin tag, buat tag di instance yang dipindahkan menggunakan perintah gcloud data-catalog tags create sebagai berikut:

curl --request POST \
'https://datacatalog.googleapis.com/v1/entries:lookup?fullyQualifiedName=FQN&location=LOCATION&project=PROJECT&key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --header 'Content-Type: application/json' \
  --data '{"column":"myColumnName","name":"myTagName","template":"myTemplateName","fields":{"myDoubleField":{"doubleValue":0}}}' \
  --compressed

Ganti kode berikut:

• FQN: Nama yang sepenuhnya memenuhi syarat (FQN) dari resource. FQN memiliki dua bentuk:

  Untuk resource non-regional: {SYSTEM}:{PROJECT}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Untuk resource yang diregionalisasi: {SYSTEM}:{PROJECT}.{LOCATION_ID}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Contoh untuk tabel DPMS:

  dataproc_metastore:{PROJECT_ID}.{LOCATION_ID}.{INSTANCE_ID}.{DATABASE_ID}.{TABLE_ID}

• LOCATION: Lokasi tempat pencarian dilakukan.

• PROJECT: Project tempat pencarian dilakukan.

• API_KEY: String unik yang memungkinkan Anda mengakses API.

• ACCESS_TOKEN: Token akses yang digunakan aplikasi Anda untuk melakukan autentikasi ke layanan.

Peran dan izin IAM yang diperlukan untuk Data Catalog

Tabel berikut menunjukkan peran dan izin IAM yang diperlukan untuk berbagai operasi Data Catalog.

Catatan: Data Catalog tidak mendukung kontrol akses terperinci Spanner.

Operasi Data Catalog	Referensi Spanner	Peran atau izin yang diperlukan
Membuat template tag	T/A	roles/datacatalog.tagTemplateCreator
Menelusuri resource Spanner	Instance	spanner.instances.get
	Database	spanner.databases.get
	Tabel	spanner.databases.get
	Dilihat	spanner.databases.get
Melihat tag publik	Instance	spanner.instances.get
	Database	spanner.databases.get
	Tabel	spanner.databases.get
	Dilihat	spanner.databases.get
Melihat tag pribadi	Instance	datacatalog.tagTemplates.getTag + spanner.instances.get
	Database	datacatalog.tagTemplates.getTag + spanner.databases.get
	Tabel	datacatalog.tagTemplates.getTag + spanner.databases.get
	Dilihat	datacatalog.tagTemplates.getTag + spanner.databases.get
Melampirkan tag ke resource Spanner menggunakan template tag	Instance	datacatalog.tagTemplates.use + spanner.instances.updateTag
	Database	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Tabel	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Dilihat	datacatalog.tagTemplates.use + spanner.databases.updateTag

Izin spanner.instances.UpdateTag disertakan dalam peran berikut:

• roles/spanner.admin

Izin spanner.databases.UpdateTag disertakan dalam peran berikut:

• roles/spanner.admin
• roles/spanner.databaseAdmin
• roles/spanner.databaseUser

Untuk mengetahui informasi selengkapnya, lihat Peran bawaan.

Langkah selanjutnya

• Apa yang dimaksud dengan Katalog Data
• Peran untuk menelusuri resource Google Cloud
• Tentang kontrol akses terperinci