Dokumen ini menjelaskan Dataplex Catalog, yang menyediakan platform untuk menyimpan, mengelola, dan mengakses {i>metadata<i} Anda.
Dataplex Catalog menyediakan inventaris terpadu Resource Google Cloud, seperti BigQuery, dan resource lainnya, seperti resource lokal. Metadata untuk resource Google Cloud dikumpulkan secara otomatis, dan Anda memasukkan metadata untuk sumber daya pihak ketiga ke Katalog Dataplex.
Dataplex Catalog memungkinkan Anda memperkaya inventaris dengan metadata bisnis dan teknis untuk menangkap konteks dan pengetahuan tentang Google Cloud Platform. Dengan Dataplex Catalog, Anda dapat mencari dan menemukan data Anda di seluruh organisasi dan memungkinkan tata kelola data atas data Anda aset.
Kasus penggunaan
Anda dapat menggunakan Dataplex Catalog untuk melakukan hal berikut:
Temukan dan pahami data Anda. Katalog Dataplex memberikan visibilitas atas sumber daya data Anda di seluruh organisasi. Memungkinkan Anda menemukan sumber daya yang relevan untuk kebutuhan konsumsi data. Memberikan konteks untuk resource data, yang membantu Anda memahami kesesuaian data sumber daya untuk kebutuhan konsumen data.
Aktifkan tata kelola data dan pengelolaan data. Katalog Dataplex menyediakan metadata yang dapat menginformasikan dan mendukung tata kelola dan data data Anda kemampuan manajemen program.
Pertahankan repositori yang dapat diperluas dan komprehensif untuk metadata Anda. Dataplex Catalog menyimpan dan memberikan akses ke metadata yang akan otomatis diambil dari resource Google Cloud Anda. Anda dapat mengintegrasikan metadata Anda sendiri dari sistem non-Google Cloud. Anda dapat memperkaya semua {i>metadata<i} dengan anotasi metadata bisnis dan teknis tambahan.
Cara kerja Dataplex Catalog
Dataplex Catalog didasarkan pada konsep berikut:
Entri: Entri mewakili aset data. Sebagian besar {i>metadata<i} dijelaskan berdasarkan aspek dalam sebuah entri. Hal ini serupa dengan entri di Data Catalog. Untuk mengetahui informasi selengkapnya, lihat Entri.
Aspek: Aspek adalah kumpulan kolom metadata yang terkait dalam entri. Aspek bisa diartikan sebagai elemen penyusun entri atau metadata tambahan. Hal ini serupa dengan tag di Data Catalog, namun aspek disimpan dalam entri dan bukan sebagai sumber daya mandiri. Untuk informasi selengkapnya, lihat Aspek.
Jenis aspek: Jenis aspek adalah template yang dapat digunakan kembali untuk aspek. Setiap aspek merupakan instance jenis aspek. Hal ini serupa dengan template tag di Data Catalog. Untuk mengetahui informasi selengkapnya, lihat Jenis aspek.
Grup entri: Grup entri adalah penampung untuk entri yang berfungsi sebagai unit manajemen untuk entri ini. Misalnya, gunakan grup entri untuk mengonfigurasi kontrol akses IAM, atribusi project, atau lokasi untuk entri di grup entri. Hal ini serupa dengan grup entri di Data Catalog. Untuk mengetahui informasi selengkapnya, lihat Grup entri.
Jenis entri: Jenis entri adalah template untuk membuat entri. Ini menetapkan elemen-elemen {i>metadata <i}penting, yang digariskan sebagai daftar aspek yang diperlukan untuk entri jenis ini. Untuk informasi selengkapnya, lihat Jenis entri.
Gambar 1. Entri dan grup entri 
Gambar 2. Jenis aspek dan jenis entri
Berikut adalah beberapa kasus penggunaan untuk Dataplex Catalog:
- Sebagai seorang analis data atau analis bisnis, Anda dapat mencari entri di seluruh organisasi dan mengeksplorasi {i>metadata <i} yang terkait dengan entri. Sebagai informasi selengkapnya, lihat artikel Menelusuri aset data.
- Sebagai pemilik data atau gubernur data, Anda dapat mengambil gambar teknis dan metadata bisnis dengan memberi anotasi entri beserta aspek-aspek. Untuk informasi selengkapnya, lihat Mengelola aspek dan memperkaya metadata.
- Sebagai pemilik data atau gubernur data, Anda dapat memberikan konsistensi pada metadata dengan menentukan standar anotasi (menggunakan jenis aspek) dan entri kustom (menggunakan jenis entri). Untuk informasi selengkapnya, lihat Kelola aspek dan perkaya metadata.
- Sebagai insinyur data, Anda dapat memiliki inventaris terpadu untuk sumber daya, termasuk resource dan resource Google Cloud dari sistem pihak ketiga. Resource Google Cloud otomatis diambil oleh Dataplex Catalog, dan resource non-Google Cloud yang Anda gunakan. Untuk informasi selengkapnya, lihat Mengelola entri dan menyerap sumber kustom.
Jika Anda sudah menggunakan Data Catalog, perhatikan hal-hal berikut:
- Entri kustom, konteks ringkasan, dan grup entri yang Anda buat di Data Catalog tersedia di Dataplex Catalog.
- Tag dan template tag yang dibuat di Data Catalog tidak tersedia di Katalog Dataplex.
- Saat Anda mencari aset data di Dataplex Catalog, kedua metadata yang dibuat di Dataplex Catalog secara langsung dan metadata yang dipindahkan dari Data Catalog ke Dataplex Catalog disertakan.
- Saat menelusuri aset data di Data Catalog, hanya metadata yang dibuat dalam Data Catalog disertakan.
- Deskripsi grup entri di Data Catalog yang melebihi 1.024 karakter akan dipangkas menjadi 1024 karakter, Katalog Dataplex.
Dataplex Catalog versus Data Catalog
Dataplex Catalog memberikan kemampuan untuk mengelola {i>metadata<i} di Dataplex. Dilengkapi dengan penyimpanan {i>metadata <i}terpisah dan serangkaian metode API baru yang terintegrasi ke dalam Dataplex API.
Fitur utama Dataplex Catalog mencakup hal-hal berikut:
Metamodel yang lebih andal
- Entri yang diketik. Anda dapat menerapkan standar {i>metadata <i} minimal dengan menentukan konten metadata yang diperlukan untuk entri kustom
- Metamodel yang dapat dikonfigurasi pengguna untuk entri kustom, yang membantu membuat penyerapan yang lebih baik dan meningkatkan konsistensi metadata kustom serta kelengkapan dokumen.
- Dukungan untuk metadata yang lebih beragam dan kompleks, termasuk dukungan untuk struktur bertingkat seperti daftar, peta, dan array.
Peningkatan skalabilitas, termasuk kemampuan untuk berinteraksi dengan semua metadata yang terkait dengan entri melalui operasi CRUD atom tunggal dan kemampuan untuk mengambil beberapa anotasi metadata yang terkait dengan penelusuran atau daftar yang dihasilkan.
Tabel berikut membandingkan fitur Dataplex Catalog dan Data Catalog:
| Fitur | Katalog Dataplex | Data Catalog |
|---|---|---|
| Sumber Google Cloud yang didukung | Semua sumber sebagaimana dijelaskan dalam Sumber Google Cloud yang didukung dari dokumen ini. | Semua sumber yang dijelaskan dalam Entri dan grup entri. |
| Penyerapan sumber kustom | Penyerapan ke dalam entri kustom dengan struktur yang diatur, yang ditentukan oleh jenis entri. Entri kustom dan grup entri Data Catalog tersedia di
Dataplex Catalog di bawah jenis entri | Penyerapan ke entri kustom umum. |
| Pengayaan metadata | Konteks metadata untuk entri direkam menggunakan aspek dan jenis aspek. | Konteks metadata untuk entri diambil menggunakan tag dan template tag. |
| Telusuri | Penelusuran dilakukan pada hal berikut:
Hasil penelusuran hanya menyertakan resource milik browser yang sama Perimeter VPC-SC sebagai project yang digunakan untuk melakukan penelusuran. Saat menggunakan Konsol Google Cloud, ini adalah project yang dipilih di konsol. Perhatikan bahwa untuk menelusuri entri, Anda memerlukan setidaknya satu Peran IAM Dataplex Catalog pada proyek yang digunakan untuk pencarian. Izin pada hasil penelusuran diperiksa secara terpisah dari proyek yang dipilih. |
Penelusuran dilakukan pada hal berikut:
|
Tabel berikut menjelaskan cara resource Dataplex Catalog yang sesuai dengan resource Data Catalog:
| Resource Dataplex Catalog | Resource Data Catalog | Deskripsi |
|---|---|---|
Jenis aspek (global) |
Template tag publik | Template tag adalah aset regional. Namun, Anda dapat menggunakannya untuk membuat
di seluruh wilayah. Template tag sesuai dengan aspek global
jenis data dalam Dataplex Catalog. |
| Aspek opsional | Tag publik | Tag publik di Data Catalog sesuai dengan aspek opsional di Katalog Dataplex. |
| Grup entri | Grup entri | Untuk sumber Google Cloud, grup entri sistem seperti @bigquery
dibuat per project di Dataplex Catalog. |
| Aspek yang diperlukan untuk entri kustom | Entri kustom | Berbagi Data Catalog dan Dataplex Catalog konsep serupa untuk entri kustom. Properti entri standar dimodelkan sebagai aspek yang diperlukan dalam Katalog Dataplex. |
| Aspek yang diperlukan untuk memasuki sistem | Entri Sistem (Google Cloud) | Metadata yang menjelaskan entity bawaan, seperti Schema untuk
tabel BigQuery, tercakup dalam aspek-aspek yang diperlukan dari
jenis aspek yang ditentukan sistem. |
Untuk informasi selengkapnya tentang fitur yang tersedia di Data Catalog dan tidak didukung di Dataplex Catalog, lihat Fitur yang tidak didukung di Dataplex Catalog dalam dokumen ini.
Sumber Google Cloud yang didukung
Metadata dari sumber Google Cloud berikut diserap secara otomatis ke dalam Dataplex Catalog:
- Bursa dan listingan Analytics Hub
- Set data, tabel, model, rutinitas, koneksi, dan set data tertaut
- Instance, cluster, dan tabel Bigtable (termasuk kolom detail keluarga)
- Instance, database, skema, tabel, tampilan Cloud SQL—lihat Mengaktifkan Integrasi Cloud SQL
- Layanan, database, dan tabel Dataproc Metastore
- Topik Pub/Sub
- Instance, database, tabel, dan tampilan Spanner
- Model Vertex AI, set data
Batasan project dan lokasi
Resource Dataplex Catalog disimpan dalam berbagai project dan lokasi. Batasan berikut berlaku:
Lokasi:
- Lokasi entri harus cocok
dengan lokasi jenis entri,
atau jenis entrinya harus
global. - Aspek yang ditambahkan ke entri harus didasarkan pada tipe aspek yang disimpan
di lokasi yang sama dengan entri atau jenis aspeknya harus
global. - Jenis entri harus terdiri dari jenis aspek yang disimpan dalam {i>location<i} sebagai jenis entri.
- Lokasi entri harus cocok
dengan lokasi jenis entri,
atau jenis entrinya harus
Project:
- Jika jenis entri mereferensikan jenis aspek khusus, jenis aspek harus di lokasi dan project yang sama dengan jenis entri.
Fitur yang tidak didukung di Dataplex Catalog
Fitur yang tersedia di Data Catalog berikut tidak didukung dalam Dataplex Catalog:
- Gagasan mengenai aspek pribadi dan jenis aspek tidak didukung di Katalog Dataplex. Akses ke aspek diatur oleh izin akses yang terkait dengan entri yang berisi aspek-aspek tersebut. Untuk mengetahui informasi selengkapnya, lihat Peran IAM Dataplex.
- Penelusuran tag kebijakan tidak didukung di Dataplex Catalog
cari; akibatnya, predikat
policytagdanpolicytagidtidak berfungsi dalam pencarian Dataplex Catalog. - Untuk entri kustom Data Catalog yang dibawa ke Dataplex Catalog, izin IAM yang ada untuk metadata saat ini tidak otomatis disebarkan ke metadata yang disalin. Anda harus secara eksplisit mengonfigurasi izin IAM untuk metadata yang disalin sebelum menggunakannya.
- Mengirim hasil tugas Sensitive Data Protection ke Dataplex Catalog tidak didukung.
- Anda tidak dapat mencantumkan jenis entri dan jenis aspek di seluruh project menggunakan API. Anda dapat menentukan cakupan permintaan daftar hanya ke project.
- Anda tidak dapat melampirkan glosarium bisnis suku ke kolom entri Dataplex.
- Anda tidak dapat mengubah daftar jenis aspek yang diperlukan dalam jenis entri setelah Anda membuat jenis entri.
- Untuk entri yang dibuat langsung di Dataplex Catalog, silsilah data menunjukkan peristiwa silsilah di Konsol Google Cloud namun tidak menampilkan informasi detail tentang sumber, target, atau proses. Selain itu, silsilah data tidak menampilkan aspek untuk entri mana pun dalam Konsol Google Cloud Anda.
Harga
Dataplex menggunakan SKU penyimpanan metadata untuk mengenakan biaya penyimpanan metadata. Untuk mengetahui informasi selengkapnya, lihat Harga Dataplex.
Penggunaan hal berikut tidak dikenai biaya:
- Membuat dan mengelola resource Dataplex Catalog
- Menelusuri panggilan API untuk Dataplex Catalog
- Kueri penelusuran yang dijalankan di halaman Dataplex Catalog di Konsol Google Cloud
Langkah selanjutnya
- Pelajari cara menelusuri aset data di Dataplex Catalog.
- Pelajari cara mengelola aset dan memperkaya metadata.
- Pelajari cara mengelola entri dan menyerap sumber kustom.