Mengamankan data lake

Dokumen ini menjelaskan cara mengamankan dan mengelola akses ke danau Katalog Universal Dataplex.

Model keamanan Dataplex Universal Catalog memungkinkan Anda mengelola izin pengguna untuk tugas berikut:

• Mengelola data lake (membuat dan melampirkan aset, zona, dan data lake tambahan)
• Mengakses data yang terhubung ke lake melalui aset pemetaan (misalnya, Google Cloud resource, seperti bucket Cloud Storage dan set data BigQuery)
• Mengakses metadata tentang data yang terhubung ke lake

Administrator untuk data lake mengontrol akses ke resource Dataplex Universal Catalog, seperti data lake, zona, dan aset dengan memberikan peran dasar dan telah ditentukan sebelumnya.

Peran dasar

Peran	Deskripsi
Dataplex Viewer (roles/dataplex.viewer)	Kemampuan untuk melihat (tetapi tidak mengedit) data lake serta zona dan aset yang dikonfigurasi.
Dataplex Editor (roles/dataplex.editor)	Kemampuan untuk mengedit danau. Dapat membuat dan mengonfigurasi data lake, zona, aset, dan tugas.
Dataplex Administrator (roles/dataplex.administrator)	Kemampuan untuk mengelola lake sepenuhnya.
Dataplex Developer (roles/dataplex.developer)	Kemampuan untuk menjalankan workload analisis data di lake. ^*

^* Untuk menjalankan kueri pada tabel BigQuery, Anda memerlukan izin untuk menjalankan tugas BigQuery. Tetapkan izin ini di project yang ingin Anda atribusikan atau ditagih untuk pembelanjaan komputasi tugas. Untuk mengetahui informasi selengkapnya, lihat Peran dan izin bawaan BigQuery.
Untuk menjalankan tugas Spark, buat cluster Dataproc dan kirimkan tugas Dataproc di project yang ingin Anda atribusikan komputasinya.

Peran yang telah ditetapkan

Google Cloud mengelola peran bawaan yang memberikan akses terperinci untuk Dataplex Universal Catalog.

Peran metadata

Peran metadata memiliki kemampuan untuk melihat metadata, seperti skema tabel.

Peran	Deskripsi
Dataplex Metadata Writer (roles/dataplex.metadataWriter)	Kemampuan untuk memperbarui metadata resource tertentu.
Dataplex Metadata Reader (roles/dataplex.metadataReader)	Kemampuan untuk membaca metadata (misalnya, untuk membuat kueri tabel).

Peran data

Catatan: Tentukan peran data di tingkat lake atau yang lebih rendah (ke zona atau aset). Peran data yang ditetapkan di tingkat project tidak diwarisi lebih lanjut oleh lake di project.

Memberikan peran data kepada akun utama akan memberi mereka kemampuan untuk membaca atau menulis data di resource pokok yang ditunjukkan oleh aset lake.

Dataplex Universal Catalog memetakan perannya ke peran data untuk setiap resource penyimpanan pokok, seperti Cloud Storage dan BigQuery.

Dataplex Universal Catalog menerjemahkan dan menyebarkan peran data Dataplex Universal Catalog ke resource penyimpanan yang mendasarinya, serta menetapkan peran yang benar untuk setiap resource penyimpanan. Anda dapat memberikan satu peran data Dataplex Universal Catalog di hierarki data lake (misalnya, data lake), dan Dataplex Universal Catalog mempertahankan akses yang ditentukan ke data di semua resource yang terhubung ke data lake tersebut (misalnya, bucket Cloud Storage dan set data BigQuery dirujuk oleh aset di zona pokok).

Misalnya, memberikan peran dataplex.dataWriter kepada akun utama untuk suatu lake akan memberikan akses tulis kepada akun utama tersebut ke semua data dalam lake, zona, dan aset yang mendasarinya. Peran akses data yang diberikan di tingkat yang lebih rendah (zona) diwarisi dalam hierarki lake ke aset pokok.

Catatan: Dataplex Universal Catalog menyebarkan izin IAM ke resource yang mendasarinya. Penerapan dari peran data ke peran resource pokok dapat memerlukan waktu hingga 30 menit. Penyelesaian kebijakan, yaitu saat Dataplex Universal Catalog mendeteksi perubahan yang dilakukan pada kebijakan yang diterapkan oleh admin Cloud Storage yang mendasarinya, dapat memerlukan waktu hingga tiga jam.

Untuk memeriksa status penerapan kebijakan, gunakan kolom API berikut:

• Untuk data lake atau zona, gunakan AssetStatus.
• Untuk aset, gunakan SecurityStatus.

Peran	Deskripsi
Dataplex Data Reader (roles/dataplex.dataReader)	Kemampuan untuk membaca data dari penyimpanan yang terpasang ke aset, termasuk bucket penyimpanan dan set data BigQuery (serta isinya). *
Dataplex Data Writer (roles/dataplex.dataWriter)	Kemampuan untuk menulis ke resource pokok yang ditunjukkan oleh aset. *
Pemilik Data Dataplex (roles/dataplex.dataOwner)	Memberikan peran Pemilik ke resource pokok, termasuk kemampuan untuk mengelola resource turunan. Misalnya, sebagai Pemilik Data set data BigQuery, Anda dapat mengelola tabel pokok.

Mengamankan data lake Anda

Anda dapat mengamankan dan mengelola akses ke lake Anda, dan data yang terlampir di dalamnya. Di konsol Google Cloud , gunakan salah satu tampilan berikut:

• Tampilan Kelola Dataplex Universal Catalog di tab Izin
• Tampilan Aman Dataplex Universal Catalog

Menggunakan tampilan Kelola

Tab Izin memungkinkan Anda mengelola semua izin pada resource lake, dan menyajikan tampilan semua izin yang tidak difilter, termasuk izin yang diwarisi.

Untuk mengamankan danau Anda, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Lakes Dataplex Universal Catalog.

   Buka Lakes

2. Klik nama lake yang Anda buat.

3. Klik tab Izin.

4. Klik tab Lihat menurut Peran.

5. Klik Tambahkan untuk menambahkan peran baru. Tambahkan peran Dataplex Data Reader, Data Writer, dan Data Owner.

6. Pastikan peran Dataplex Data Reader, Data Writer, dan Data Owner muncul.

Menggunakan tampilan Aman

Catatan: Anda dapat mengizinkan tampilan Aman Dataplex Universal Catalog untuk melaporkan izin yang tidak ada, dengan memberikan cloudasset.assets.analyzeIamPolicy izin ke project atau project induk yang berisi data lake.

Tampilan Aman Dataplex Universal Catalog di konsol Google Cloud menyediakan hal berikut:

• Tampilan yang dapat difilter hanya untuk peran Dataplex Universal Catalog yang berpusat pada resource tertentu
• Memisahkan peran data dari peran resource lake

Gambar 1: Dalam contoh lake ini, kedua prinsipal memiliki izin data pada aset yang disebut Data Cloud Storage (data GCS). Izin ini tidak diwarisi dari resource lake yang lebih tinggi.

Gambar 2: Contoh ini menunjukkan:

1. Akun layanan yang mewarisi peran Administrator Dataplex dari project.
2. Akun utama (alamat email) yang mewarisi peran Editor dan Viewer Dataplex dari project. Berikut adalah peran yang berlaku untuk semua resource.
3. Akun utama (alamat email) yang mewarisi peran Administrator Dataplex dari project.

Manajemen kebijakan

Setelah Anda menentukan kebijakan keamanan, Katalog Universal Dataplex akan menyebarluaskan izin ke kebijakan IAM resource terkelola.

Kebijakan keamanan yang dikonfigurasi di tingkat lake akan diterapkan ke semua resource yang dikelola dalam lake tersebut. Dataplex Universal Catalog memberikan status penyebarluasan dan visibilitas ke penyebarluasan skala besar ini di tab Kelola > Izin Dataplex Universal Catalog. Layanan ini terus memantau resource terkelola untuk mengetahui apakah ada perubahan pada kebijakan IAM di luar Dataplex Universal Catalog.

Pengguna yang sudah memiliki izin pada resource akan terus memilikinya setelah resource dilampirkan ke data lake Dataplex Universal Catalog. Demikian pula, binding peran non-Dataplex Universal Catalog yang dibuat atau diperbarui setelah melampirkan resource ke Dataplex Universal Catalog tetap sama.

Menetapkan kebijakan tingkat kolom, tingkat baris, dan tingkat tabel

Aset bucket Cloud Storage memiliki tabel eksternal BigQuery terkait yang dilampirkan padanya.

Anda dapat mengupgrade aset bucket Cloud Storage, yang berarti Dataplex Universal Catalog menghapus tabel eksternal yang terpasang dan memasang tabel BigLake sebagai gantinya.

Anda dapat menggunakan tabel BigLake, bukan tabel eksternal, untuk memberi Anda kontrol akses terperinci, termasuk kontrol tingkat baris, kontrol tingkat kolom, dan penyamaran data kolom.

Keamanan metadata

Metadata terutama merujuk pada informasi skema yang terkait dengan data pengguna yang ada di resource yang dikelola oleh lake.

Penemuan Katalog Universal Dataplex memeriksa data dalam resource terkelola dan mengekstrak informasi skema tabel. Tabel ini dipublikasikan ke sistem BigQuery, Dataproc Metastore, dan Data Catalog (Tidak digunakan lagi).

Catatan: Data pokok yang sebenarnya berada di resource yang dikelola oleh aset dan dilindungi oleh izin data melalui peran Dataplex Data Reader (roles/dataplex.dataReader) dan peran Dataplex Data Writer (roles/dataplex.dataWriter). Anda bertanggung jawab untuk mengelola izin metadata dalam setiap sistem metadata.

BigQuery

Setiap tabel yang ditemukan memiliki tabel terkait yang terdaftar di BigQuery. Untuk setiap zona, ada set data BigQuery terkait yang digunakan untuk mendaftarkan semua tabel eksternal yang terkait dengan tabel yang ditemukan di zona data tersebut.

Tabel yang dihosting di Cloud Storage yang ditemukan didaftarkan di set data yang dibuat untuk zona tersebut.

Catatan: Dataplex Universal Catalog mendukung upgrade tabel eksternal menjadi tabel BigLake. Untuk mengetahui informasi selengkapnya, lihat Keamanan metadata.

Dataproc Metastore

Database dan tabel tersedia di Dataproc Metastore yang terkait dengan instance data lake Dataplex Universal Catalog. Setiap zona data memiliki database terkait, dan setiap aset dapat memiliki satu atau beberapa tabel terkait.

Data dalam layanan Dataproc Metastore diamankan dengan mengonfigurasi jaringan VPC-SC Anda. Instance Dataproc Metastore disediakan untuk Dataplex Universal Catalog selama pembuatan data lake, yang sudah menjadikannya sebagai resource yang dikelola pengguna.

Data Catalog

Setiap tabel yang ditemukan memiliki entri terkait di Data Catalog (Tidak digunakan lagi), untuk mengaktifkan penelusuran dan penemuan.

Data Catalog memerlukan nama kebijakan IAM selama pembuatan entri. Oleh karena itu, Dataplex Universal Catalog menyediakan nama kebijakan IAM dari resource aset Dataplex Universal Catalog yang entri harus dikaitkan dengannya. Akibatnya, izin pada entri Dataplex Universal Catalog didasarkan pada izin di resource aset. Beri peran Dataplex Metadata Reader (roles/dataplex.metadataReader) dan peran Dataplex Metadata Writer (roles/dataplex.metadataWriter) pada resource aset.

Apa langkah selanjutnya?

• Pelajari lebih lanjut IAM Katalog Universal Dataplex.
• Pelajari lebih lanjut peran IAM Katalog Universal Dataplex.
• Pelajari lebih lanjut izin IAM Dataplex Universal Catalog.