Mendokumentasikan entri data dalam skala besar sulit, terutama saat digunakan oleh kelompok yang berbeda dalam suatu organisasi dengan kebutuhan yang beragam. Sering kali setiap grup membuat kumpulan dokumentasi dan metadata sendiri untuk mendeskripsikan data yang sama, sehingga menghasilkan upaya duplikat dan informasi yang tidak lengkap. Data Catalog mengatasi masalah ini dengan tag, yang memungkinkan organisasi membuat, menelusuri, dan mengelola metadata untuk semua entri data mereka dalam layanan terpadu.
Dokumen ini menjelaskan dua konsep Data Catalog utama:
Tag. Kolom metadata kustom yang dapat Anda lampirkan ke entri data untuk memberikan konteks.
Template tag. Struktur yang dapat digunakan kembali yang dapat Anda gunakan untuk membuat tag baru dengan cepat.
Tag
Tag adalah jenis metadata bisnis. Menambahkan tag ke entri data membantu memberikan konteks yang bermakna kepada siapa pun yang perlu menggunakan aset. Misalnya, tag dapat memberi tahu Anda informasi seperti siapa yang bertanggung jawab atas entri data tertentu, apakah berisi informasi identitas pribadi (PII), kebijakan retensi data untuk aset, dan skor kualitas data.
Tag dapat berupa tag publik atau tag pribadi. Setiap jenis tag memiliki beberapa keunggulan unik yang sesuai dengan kebutuhan bisnis Anda.
Tag pribadi
Tag pribadi memberikan kontrol akses yang ketat. Anda dapat menelusuri atau melihat tag dan entri data yang terkait dengan tag hanya jika Anda diberi izin tampilan yang diperlukan pada template tag pribadi dan entri data.
Penelusuran tag pribadi di halaman Katalog Data mengharuskan Anda menggunakan sintaksis penelusuran tag: atau filter penelusuran.
Tag pribadi cocok untuk skenario saat Anda perlu menyimpan beberapa informasi sensitif dalam tag dan ingin menerapkan pembatasan akses tambahan selain memeriksa apakah pengguna memiliki izin untuk melihat entri yang diberi tag.
Tag publik
Tag publik memberikan kontrol akses yang tidak terlalu ketat untuk menelusuri dan melihat tag dibandingkan dengan tag pribadi. Setiap pengguna yang memiliki izin lihat yang diperlukan untuk entri data dapat melihat semua tag publik yang terkait dengannya. Izin lihat untuk tag publik hanya diperlukan saat Anda melakukan penelusuran di Data Catalog menggunakan sintaksis tag: atau saat Anda melihat template tag yang tidak terlampir.
Tag publik mendukung penelusuran dan penelusuran sederhana dengan predikat di halaman penelusuran Data Catalog. Saat Anda membuat template tag, opsi untuk membuat template tag publik adalah opsi default dan yang direkomendasikan di konsol Google Cloud.
Misalnya, anggaplah Anda memiliki template tag publik bernama employee data
yang digunakan untuk membuat tag bagi tiga entri data bernama Name, Location,
dan Salary. Di antara ketiga entri data tersebut, hanya anggota grup tertentu yang disebut HR yang dapat melihat entri data Salary. Dua entri data lainnya memiliki izin
lihat untuk semua karyawan perusahaan.
Jika karyawan yang bukan anggota grup HR menggunakan halaman penelusuran Katalog Data dan melakukan penelusuran dengan kata employee, hasil penelusuran hanya menampilkan entri data Name dan Location dengan tag publik terkait.
Tag publik berguna untuk serangkaian skenario yang luas, dan tag ini intuitif untuk digunakan. Tag publik mendukung penelusuran dan penelusuran sederhana dengan predikat, sedangkan tag pribadi hanya mendukung penelusuran dengan predikat.
Contoh tag yang dilampirkan ke entri data
Diagram berikut menunjukkan contoh tabel pelanggan cust_tbl, dengan beberapa
tag metadata bisnis yang dilampirkan ke tabel dan kolomnya.
Template Tag
Untuk mulai memberi tag pada data, Anda harus membuat satu atau beberapa template tag terlebih dahulu. Template tag dapat berupa template tag publik atau pribadi. Saat Anda membuat template tag, opsi untuk membuat template tag publik adalah opsi default dan yang direkomendasikan di konsol Google Cloud. Template tag adalah grup key-value pair metadata yang disebut kolom. Memiliki set template serupa dengan memiliki skema database untuk metadata.
Anda dapat menyusun tag berdasarkan topik. Contoh:
- Tag tata kelola data dengan kolom untuk: gubernur data, tanggal retensi, tanggal penghapusan, PII (ya atau tidak), klasifikasi data (publik, rahasia, sensitif, peraturan)
- Tag kualitas data dengan kolom untuk: masalah kualitas, frekuensi pembaruan, informasi SLO
- Tag penggunaan data dengan kolom untuk: pengguna teratas, kueri teratas, pengguna harian rata-rata
Selanjutnya, Anda dapat mencampur dan mencocokkan tag, hanya menggunakan tag yang relevan saja untuk setiap aset data dan kebutuhan bisnis Anda.
Kolom dalam tag
Tag berisi satu atau beberapa kolom tempat informasi dapat disimpan. Kolom dalam tag ditentukan oleh template tag, dan setiap kolom dapat digunakan untuk menyimpan satu atau beberapa nilai. Setiap tag adalah instance template tag, yang dapat diterapkan ke seluruh entri data, atau pada tabel atau kolom tertentu. Tag pada kolom dapat menunjukkan kepada Anda, misalnya, apakah kolom tersebut berisi PII, apakah kolom tersebut sudah tidak digunakan lagi, atau formula apa yang digunakan untuk menghitung nilai tertentu.
Setiap kolom berisi ID, nama tampilan, dan jenis. Jenisnya dapat berupa string,
double, boolean, enum (enumerasi), atau datetime. Jika jenisnya adalah
enum, template juga menyimpan nilai yang diizinkan untuk kolom tersebut.
Kolom disimpan dalam template sebagai kumpulan yang diurutkan, dengan urutan menunjukkan tingkat kepentingan relatif dari suatu kolom dibandingkan dengan kolom lainnya.
Kolom bersifat opsional kecuali ditandai sebagai wajib diisi. Kolom wajib diisi harus diberi nilai saat template digunakan, sedangkan kolom opsional dapat dibiarkan kosong.
Anda tidak dapat mengubah kolom opsional menjadi wajib diisi setelah membuat template.
Contoh kolom dalam tag
Berikut adalah contoh template tag dari quickstart, yang berisi beberapa jenis kolom:
Berikut adalah tag yang dibuat dari template, dengan nilai yang diberikan untuk setiap kolom:
Melihat galeri template tag
Untuk membantu Anda memulai, Data Catalog menyertakan galeri contoh template tag untuk menggambarkan kasus penggunaan pemberian tag umum. Gunakan contoh ini untuk mempelajari manfaat pemberian tag, sebagai inspirasi, atau sebagai titik awal untuk membuat infrastruktur pemberian tag Anda sendiri.
Untuk menggunakan galeri template tag, lakukan langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Template tag Dataplex.
Klik Buat template tag.
Galeri template ditampilkan sebagai bagian dari halaman Buat template.
Setelah memilih template dari galeri, Anda dapat menggunakannya seperti template tag lainnya. Anda dapat menambahkan dan menghapus atribut, serta mengubah apa pun di template agar sesuai dengan kebutuhan bisnis Anda. Anda kemudian dapat menelusuri kolom dan nilai template menggunakan Data Catalog.
Kontrol akses untuk tag
Tag dan metadatanya dapat berisi informasi sensitif, dan tim tata kelola data mungkin ingin agar tag tertentu hanya terlihat oleh grup pengguna tertentu. Data Catalog menyediakan kontrol akses pada template tag, dan setelan ini mencakup semua tag yang dibuat menggunakan template tersebut.
Anda dapat menyiapkan template tag dengan banyak konfigurasi kontrol akses, misalnya:
- Template tag yang hanya dapat digunakan oleh pembuat template untuk membuat tag
- Template tag yang membuat tag yang hanya dapat dilihat oleh sekelompok pengguna tertentu
- Template tag yang dapat digunakan oleh sekumpulan pengguna tertentu untuk membuat tag yang hanya terlihat oleh kumpulan pengguna lain (yang mungkin identik)
- Template tag yang dapat dilihat oleh semua pengguna organisasi atau project (tag publik)
Akses ke template tag diberikan atau ditolak dengan peran IAM. Elemen ini memberikan izin untuk membuat, mengedit, dan menggunakan template tag. Berikut adalah beberapa peran Data Catalog yang tersedia:
Untuk memungkinkan pengguna membuat atau memperbarui template tag, Anda harus memberi mereka peran pembuat template tag.
Agar pengguna dapat menerapkan tag ke entri data, Anda harus memberi pengguna peran pengguna template tag.
Lihat Pengelolaan Akses dan Identitas Katalog Data untuk informasi selengkapnya.
Resource regional
Setiap template tag dan tag disimpan di region Google Cloud tertentu. Anda dapat menggunakan template tag untuk membuat tag di wilayah mana pun, sehingga Anda tidak perlu membuat salinan template jika memiliki entri data yang tersebar di beberapa region.
Langkah Berikutnya
Baca peran dan izin yang diperlukan untuk melihat dan melampirkan tag publik dan pribadi. Lihat Peran untuk melihat tag publik dan pribadi serta Peran untuk melampirkan tag ke resource Google Cloud.
Baca cara menggunakan tag publik dan pribadi untuk menelusuri entri data. Lihat Sintaksis penelusuran Data Catalog.
Buat contoh template tag publik dan beberapa tag. Lihat Memberi tag pada tabel BigQuery menggunakan Data Catalog.