Tag dan template tag

Mendokumentasikan entri data dalam skala besar itu sulit, terutama jika entri tersebut digunakan oleh berbagai grup dalam organisasi dengan kebutuhan yang berbeda-beda. Sering kali setiap grup membuat kumpulan dokumentasi dan metadata mereka sendiri untuk mendeskripsikan data yang sama, sehingga menghasilkan upaya duplikat dan informasi yang tidak lengkap. Data Catalog mengatasi masalah ini dengan tag, yang memungkinkan organisasi membuat, menelusuri, dan mengelola metadata untuk semua entri datanya dalam layanan terpadu.

Dokumen ini menjelaskan dua konsep utama Data Catalog:

  • Tag: kolom metadata kustom yang dapat Anda lampirkan ke entri data untuk memberikan konteks

  • Template tag: struktur yang dapat digunakan kembali dan dapat Anda gunakan untuk membuat tag baru dengan cepat

Tag

Tag adalah jenis metadata bisnis. Menambahkan tag ke entri data membantu memberikan konteks yang bermakna kepada siapa saja yang perlu menggunakan aset. Misalnya, tag dapat memberi tahu Anda informasi seperti siapa yang bertanggung jawab atas entri data tertentu, apakah entri tersebut berisi informasi identitas pribadi (PII), kebijakan retensi data untuk aset, dan skor kualitas data.

Tag dapat berupa tag publik atau tag pribadi. Setiap jenis tag memiliki beberapa kelebihan unik untuk memenuhi persyaratan bisnis Anda.

Tag pribadi

Tag pribadi memberikan kontrol akses yang ketat. Anda dapat menelusuri atau melihat tag dan entri data yang terkait dengan tag tersebut, hanya jika Anda diberi izin lihat yang diperlukan di template tag pribadi dan entri data.

Untuk menelusuri tag pribadi di halaman Data Catalog, Anda harus menggunakan sintaksis penelusuran tag: atau filter penelusuran.

Tag pribadi cocok untuk skenario saat Anda perlu menyimpan beberapa informasi sensitif dalam tag dan ingin menerapkan pembatasan akses tambahan selain memeriksa apakah pengguna memiliki izin untuk melihat entri yang diberi tag.

Tag publik

Tag publik memberikan kontrol akses yang tidak terlalu ketat untuk menelusuri dan melihat tag dibandingkan dengan tag pribadi. Setiap pengguna yang memiliki izin lihat yang diperlukan untuk entri data dapat melihat semua tag publik yang terkait dengannya. Izin lihat untuk tag publik hanya diperlukan saat Anda melakukan penelusuran di Data Catalog menggunakan sintaksis tag: atau saat Anda melihat template tag yang tidak terlampir.

Tag publik mendukung penelusuran sederhana dan penelusuran dengan predikat di halaman penelusuran Data Catalog. Saat Anda membuat template tag, opsi untuk membuat template tag publik adalah opsi default dan yang direkomendasikan di konsol Google Cloud.

Misalnya, pertimbangkan template tag publik bernama employee data, yang Anda gunakan untuk membuat tag bagi tiga entri data bernama Name, Location, dan Salary. Di antara ketiga entri data tersebut, hanya anggota grup tertentu yang disebut HR yang dapat melihat entri data Salary. Dua entri data lainnya memiliki izin lihat untuk semua karyawan perusahaan.

Jika ada karyawan yang bukan anggota grup HR menggunakan halaman penelusuran Data Catalog dan menelusuri dengan kata employee, hasil penelusuran hanya akan menampilkan entri data Name dan Location dengan tag publik terkait.

Tag publik berguna untuk serangkaian skenario yang luas dan tag ini mudah digunakan. Tag publik mendukung penelusuran sederhana dan penelusuran dengan predikat, sedangkan tag pribadi hanya mendukung penelusuran dengan predikat.

Contoh tag yang dilampirkan ke entri data

Diagram berikut menunjukkan contoh tabel pelanggan cust_tbl, dengan beberapa tag metadata bisnis yang disertakan pada tabel dan kolomnya.

Contoh ini menggunakan tag tabel untuk mendeskripsikan tata kelola, kualitas, dan penggunaan data, serta tag kolom untuk menandai PII seperti SSN dan info kontak.
Gambar 1. Data Catalog mendukung pemberian tag di tingkat tabel dan kolom.

Template Tag

Untuk mulai memberikan tag pada data, Anda harus terlebih dahulu membuat satu template tag atau lebih. Template tag dapat berupa template tag publik atau pribadi. Saat Anda membuat template tag, opsi untuk membuat template tag publik adalah opsi default dan yang direkomendasikan di konsol Google Cloud. Template tag adalah grup key-value pair metadata yang disebut kolom. Memiliki sekumpulan template serupa dengan memiliki skema database untuk metadata Anda.

Anda dapat menyusun tag berdasarkan topik. Contoh:

  • Tag tata kelola data dengan kolom untuk pengelola data, tanggal retensi, tanggal penghapusan, PII (ya atau tidak), dan klasifikasi data (publik, rahasia, sensitif, peraturan)
  • Tag kualitas data dengan kolom untuk masalah kualitas, frekuensi update, dan informasi SLO
  • Tag penggunaan data dengan kolom untuk pengguna teratas, kueri teratas, dan pengguna harian rata-rata

Selanjutnya, Anda dapat mencampur dan mencocokkan tag, hanya menggunakan tag yang relevan saja untuk setiap aset data dan kebutuhan bisnis Anda.

Kolom dalam tag

Tag berisi satu atau beberapa kolom tempat informasi dapat disimpan. Kolom dalam tag ditentukan oleh template tag, dan setiap kolom dapat digunakan untuk menyimpan satu atau beberapa nilai. Setiap tag adalah instance template tag, yang dapat diterapkan ke seluruh entri data, atau ke tabel atau kolom tertentu. Tag pada kolom dapat memberi tahu Anda, misalnya, apakah kolom tersebut berisi PII, apakah kolom tersebut sudah tidak digunakan lagi, atau formula apa yang digunakan untuk menghitung nilai tertentu.

Setiap kolom berisi ID, nama tampilan, dan jenis. Jenisnya dapat berupa string, double, boolean, enum (enumerasi), atau datetime. Jika jenisnya adalah enum, template juga akan menyimpan nilai yang diizinkan untuk kolom.

Kolom disimpan dalam template sebagai kumpulan yang diurutkan, dengan urutan yang mewakili tingkat kepentingan relatif kolom terhadap kolom lainnya.

Kolom bersifat opsional kecuali jika ditandai sebagai wajib diisi. Kolom wajib diisi harus diberi nilai saat template digunakan, sedangkan kolom opsional dapat dikosongkan.

Anda tidak dapat mengubah kolom opsional menjadi wajib setelah membuat template.

Contoh kolom dalam tag

Berikut adalah contoh template tag dari panduan memulai, yang berisi beberapa jenis kolom:

Contoh template tag menentukan kolom untuk sumber data, jumlah baris, keberadaan PII, dan jenis PII.
Gambar 2. Template tag Data Catalog.

Berikut adalah tag yang dibuat dari template, dengan nilai yang diberikan untuk setiap kolom:

Contoh tag menunjukkan bahwa datanya berasal dari tabel bernama, memiliki ratusan juta baris, dan tidak memiliki PII.
Gambar 3. Tag yang dibuat dari template tag.

Untuk membantu Anda memulai, Data Catalog menyertakan galeri contoh template tag untuk menggambarkan kasus penggunaan pemberian tag umum. Gunakan contoh ini untuk mempelajari manfaat pemberian tag, sebagai inspirasi, atau sebagai titik awal untuk membuat infrastruktur pemberian tag Anda sendiri.

Untuk menggunakan galeri template tag, lakukan langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Template tag Dataplex.

    Buka Template tag

  2. Klik Buat template tag.

    Galeri template ditampilkan sebagai bagian dari halaman Buat template.

Setelah memilih template dari galeri, Anda dapat menggunakannya seperti template tag lainnya. Anda dapat menambahkan dan menghapus atribut, serta mengubah apa pun di template untuk menyesuaikan dengan kebutuhan bisnis Anda. Anda kemudian dapat menelusuri kolom dan nilai template menggunakan Data Catalog.

Kontrol akses untuk tag

Tag dan metadatanya dapat berisi informasi sensitif, dan tim tata kelola data mungkin ingin tag tertentu hanya terlihat oleh grup pengguna tertentu. Data Catalog menyediakan kontrol akses pada template tag, dan setelan ini diperluas ke semua tag yang dibuat menggunakan template tersebut.

Anda dapat menyiapkan template tag dengan banyak konfigurasi kontrol akses, misalnya:

  • Template tag yang hanya dapat digunakan oleh pembuat template untuk membuat tag
  • Template tag yang membuat tag yang hanya dapat dilihat oleh sekumpulan pengguna tertentu
  • Template tag yang dapat digunakan oleh sekumpulan pengguna tertentu untuk membuat tag yang hanya terlihat oleh sekumpulan pengguna lain (mungkin identik)
  • Template tag yang dapat dilihat oleh semua pengguna organisasi atau project (tag publik)

Akses ke template tag diberikan atau ditolak dengan peran IAM. Izin ini memberikan izin untuk membuat, mengedit, dan menggunakan template tag. Berikut beberapa peran Data Catalog yang tersedia:

  • Agar pengguna dapat membuat atau memperbarui template tag, Anda harus memberinya peran pembuat template tag.

  • Agar pengguna dapat menerapkan tag ke entri data, Anda harus memberinya peran pengguna template tag.

Untuk informasi selengkapnya, lihat Identity and Access Management Data Catalog.

Resource regional

Setiap template tag dan tag disimpan di regionGoogle Cloud tertentu. Anda dapat menggunakan template tag untuk membuat tag di region mana pun, sehingga tidak perlu membuat salinan template jika Anda memiliki entri data yang tersebar di beberapa region.

Langkah Berikutnya