Konsep Data Mesh

Sebelum mempelajari panduan mendetail tentang cara men-deploy Data Mesh dengan Google Cloud Cortex Framework, halaman ini memberikan dasar tentang cara konsep Data Mesh yang relevan umumnya diterapkan dalam Google Cloud produk dan khususnya dengan konteks Cortex Framework. Setelah memahami konsep Data Mesh, lihat Panduan Pengguna Data Mesh untuk Framework Data Foundation Cortex.

Catatan: Untuk pemahaman yang lebih mendalam tentang konsep Data Mesh umum, lihat Membuat Data Mesh terdistribusi dan modern dengan Google Cloud.

Dataplex

Tabel berikut menentukan konsep Data Mesh dalam Dataplex:

Konsep	Deskripsi	Konteks Cortex Framework
Danau	Unit tingkat teratas untuk mengatur data dalam Data Mesh. Mengelola Dataplex - Danau.	Sumber data, misalnya, SAP ECC, Salesforce, Google Ads.
Zona	Unit tingkat kedua untuk mengatur data dalam Danau.	Lapisan pemrosesan tertentu dalam sumber data, seperti mentah versus CDC.
Aset Dataplex	Referensi ke data yang disimpan di Cloud Storage atau BigQuery yang dikaitkan dengan zona. Ini adalah referensi ke aset data, bukan data itu sendiri.	Referensi ke set data BigQuery yang terdaftar di zona.
Label	Pasangan nilai kunci arbitrer yang dapat diterapkan ke danau atau zona.	Beri label pada seluruh data lake atau zona (bukan tabel atau kolom) dengan metadata yang dapat dilihat di Dataplex atau digunakan untuk aplikasi kustom.
Data Catalog	Metadata bisnis teknis yang dapat digunakan untuk membantu menemukan, memahami, atau mengelola aset data dalam warehouse.	Anotasikan tabel atau kolom (bukan danau atau zona) dengan tag metadata lengkap yang dapat digunakan dalam penelusuran Dataplex atau aplikasi kustom.
Template Tag Katalog	Template yang menentukan kolom yang tersedia dan jenisnya dalam tag. Mengelola Dataplex - Template Tag	Tentukan kumpulan template untuk penggunaan seperti memberi tag pada aset data dengan lini bisnis.
Tag Katalog	Kumpulan kolom dan nilainya yang berisi metadata yang berlaku untuk tabel atau kolom. Instance template tag.	Anotasikan tabel atau kolom dengan nilai metadata yang relevan dengan aset tersebut, seperti lini bisnis tertentu.
Glosarium Katalog	Kamus istilah yang dapat ditentukan dan dikaitkan dengan kolom BigQuery. Mengelola Dataplex - Glosarium.	Menentukan istilah atau akronim yang digunakan di Aset BigQuery. Perhatikan bahwa fitur ini direncanakan untuk masa mendatang dan tidak didukung.
Linimasa Data	Grafik yang mewakili dependensi Aset BigQuery.	Ini tidak ditentukan oleh Cortex Data Mesh, tetapi merupakan alat Dataplex yang relevan untuk membantu pengguna menemukan sumber data Aset BigQuery.
Peristiwa Garis Keturunan	Titik waktu saat operasi terjadi untuk memindahkan data antar-Aset BigQuery. Berisi daftar Link.	Dibuat secara otomatis untuk operasi BigQuery dan Composer yang didukung.
Link Silsilah	Edge yang mewakili data yang mengalir dari sumber ke aset target sebagai bagian dari Peristiwa Lineage.	Data ini dapat dianalisis untuk mendukung kasus penggunaan di luar grafik visualisasi silsilah yang ditampilkan di konsol.

BigQuery

Tabel berikut menentukan konsep Data Mesh dalam BigQuery:

Konsep	Deskripsi	Konteks Cortex Framework
Taksonomi Kebijakan	Hierarki tag kebijakan. Kelola BigQuery - Tag Kebijakan.	Atur tag kebijakan terkait yang dapat digunakan untuk kontrol akses ke dalam hierarki dengan izin yang diwariskan.
Tag Kebijakan	Tag yang diterapkan ke kolom tertentu dalam tabel atau tampilan BigQuery. Tag kebijakan di tingkat mana pun dalam hierarki dapat diterapkan. Hanya satu tag kebijakan yang dapat diterapkan ke kolom tertentu.	Anotasikan kolom dengan tag yang digunakan untuk kontrol akses tingkat kolom. Akun utama pada tag kebijakan menentukan Pembaca 'Detail' atau 'Tidak Disamarkan' yang dapat melihat data kolom mentah.
Kebijakan Data	Kebijakan yang diterapkan ke Tag Kebijakan yang menentukan cara dan siapa yang dapat melihat data kolom yang disamarkan.	Akun utama di Kebijakan Data menentukan 'Pembaca yang disamarkan' yang dapat melihat data kolom yang disamarkan. Siapa pun yang tidak memiliki hak istimewa pembaca yang disamarkan atau tidak disamarkan tidak akan dapat membuat kueri kolom.
Aturan Penyamaran	Aturan yang diterapkan ke Kebijakan Data yang menentukan cara data disamarkan, misalnya, hashing, menampilkan nilai default, empat karakter terakhir, dan lainnya.	Diterapkan secara situasional ke kolom sensitif.
Kebijakan Akses Baris	Pernyataan SQL yang menentukan grup mana yang dapat membuat kueri baris dalam tabel berdasarkan nilai kolom tertentu.	Digunakan untuk kontrol akses tingkat baris jika kontrol tingkat aset dan kolom tidak memadai.

Konsep Cortex Data Mesh

Tabel berikut menentukan konsep Data Mesh tertentu dalam Framework Cortex:

Konsep	Deskripsi	Konteks Cortex Framework
Resource Metadata	Entitas metadata yang dapat digunakan kembali di beberapa aset BigQuery. Contohnya adalah Danau, Template Tag Katalog, dan Taksonomi Kebijakan. Hal ini khususnya metadata, bukan data di BigQuery itu sendiri.	Menentukan resource yang dapat digunakan kembali untuk memungkinkan pengelolaan Cortex Data Mesh yang konsisten.
Aset BigQuery	Tabel atau tampilan BigQuery.	Objek BigQuery Cortex yang ada dan diatur dengan Data Mesh.
Anotasi Aset BigQuery	Metadata yang diterapkan ke tabel atau tampilan BigQuery tertentu. Hal ini mencakup deskripsi, kebijakan akses, dan pemetaan ke Resource Metadata.	Mengaitkan metadata dengan Aset BigQuery untuk mengaktifkan penemuan dan kontrol akses.
Spesifikasi Resource (spesifikasi)	File YAML yang menentukan Resource Metadata atau Anotasi Aset BigQuery.	Kumpulan lengkap spesifikasi resource merumuskan konfigurasi Data Mesh yang akan di-deploy.