Mengelola aset data di data lake

Halaman ini menjelaskan cara menambahkan, mengupgrade, dan menghapus bucket Cloud Storage dan set data BigQuery sebagai aset di zona Dataplex yang ada.

Ringkasan

Aset dipetakan ke data yang disimpan di Cloud Storage atau BigQuery. Anda dapat memetakan data yang disimpan di project Google Cloud terpisah sebagai aset ke dalam satu zona dalam data lake. Anda dapat melampirkan bucket Cloud Storage atau set data BigQuery yang ada untuk dikelola dari dalam data lake.

Catatan: Aset yang dilampirkan tidak dapat dikelola oleh zona atau data lake lain.

Sebelum memulai

• Jika belum melakukannya, buat dan atur dan zona di danau tersebut.

• Sebagian besar perintah gcloud lakes memerlukan lokasi. Anda dapat menentukan lokasi menggunakan flag --location.

Peran yang diperlukan

• Untuk menghapus aset, berikan peran IAM yang berisi izin dataplex.lakes.delete, dataplex.zones.delete, atau dataplex.assets.delete IAM. Peran roles/dataplex.admin dan roles/dataplex.editor khusus Dataplex dapat digunakan untuk memberikan izin ini.

• Untuk menambahkan aset, berikan peran IAM yang berisi izin create - dataplex.lakes.create, dataplex.zones.create, atau dataplex.assets.create. Peran roles/dataplex.admin dan roles/dataplex.editor berisi izin ini.

• Anda juga dapat memberikan izin kepada pengguna atau grup menggunakan peran lama roles/owner dan roles/editor.

• Anda harus mengizinkan layanan Dataplex pada resource yang disertakan ke Dataplex lake. Otorisasi diberikan secara otomatis dan implisit untuk resource dalam project tempat data lake dibuat. Untuk project lain, izinkan layanan Dataplex pada resource secara eksplisit.

Untuk mengetahui informasi selengkapnya, lihat IAM dan kontrol akses Dataplex.

Memberikan peran untuk bucket Cloud Storage

Untuk melampirkan bucket Cloud Storage dari project lain ke data lake, Anda harus memberikan peran akun layanan Dataplex ([e-mail], yang diambil dari halaman detail data lake di konsol) ke akun layanan Dataplex (roles/dataplex.serviceAgent) di project yang berisi bucket. Peran ini memberikan layanan Dataplex dengan peran tingkat administrator prasyarat di bucket sehingga izin dapat ditetapkan di bucket itu sendiri.

Memberikan peran untuk set data BigQuery

Untuk melampirkan set data BigQuery dari project lain ke data lake, Anda harus memberikan peran BigQuery Administrator pada set data tersebut kepada akun layanan Dataplex.

Pertimbangan Kontrol Layanan VPC

Dataplex tidak melanggar perimeter Kontrol Layanan VPC. Sebelum menambahkan aset ke data lake, pastikan bucket atau set data yang mendasarinya berada dalam jaringan Kontrol Layanan VPC yang sama dengan data lake.

Untuk mengetahui informasi selengkapnya, lihat Kontrol Layanan VPC dengan Dataplex.

Menambahkan aset

Catatan: Anda dapat membuat beberapa aset di zona data secara serentak. Anda dapat terus menggunakan zona data saat aset ditambahkan.

Jika tidak ada tumpang-tindih antara region data lake Dataplex dan salah satu region bucket Cloud Storage, Anda tidak dapat menambahkan bucket ke zona di data lake.

Untuk mempelajari lebih lanjut lokasi region aset Cloud Storage dan cara Dataplex menangani lokasi bucket saat membuat set data publikasi, lihat Resource regional.

Untuk menambahkan aset, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Dataplex.

   Buka Dataplex

2. Di halaman Manage, klik data lake tempat Anda ingin menambahkan bucket Cloud Storage atau set data BigQuery. Halaman danau akan terbuka.

3. Di tab Zones, klik nama zona data yang ingin Anda tambahi aset. Halaman Zona data untuk zona data tersebut akan terbuka.

4. Di tab Assets, klik + Add Assets. Halaman Tambahkan aset akan terbuka.

5. Klik Tambahkan Aset.

6. Di kolom Type, pilih BigQuery dataset atau Cloud Storage bucket.

7. Di kolom Nama tampilan, masukkan nama untuk aset baru.

8. Di kolom ID, masukkan ID unik untuk aset.

9. Opsional: Masukkan Deskripsi..

10. Di kolom Dataset atau Bucket (berdasarkan jenis aset Anda), klik Browse untuk menemukan dan memilih bucket Cloud Storage atau set data BigQuery.

11. Opsional: Jika jenis aset Anda adalah bucket Cloud Storage dan jika Anda ingin Dataplex mengelola aset, pilih kotak centang Upgrade to Managed. Jika memilih opsi ini, Anda tidak perlu mengupgrade aset secara terpisah. Opsi ini tidak tersedia untuk set data BigQuery.

12. Klik Lanjutkan.

13. Pilih nilai parameter lainnya. Untuk informasi selengkapnya tentang setelan keamanan, lihat Keamanan data lake.

14. Klik Kirim.

15. Pastikan Anda telah kembali ke halaman zona data, dan aset baru Anda muncul dalam daftar aset.

REST

Untuk menambahkan aset, gunakan metode lakes.zones.assets.create.

Jika penambahan berhasil, zona data akan otomatis memasuki status aktif. Jika gagal, zona data akan di-roll back ke status normalnya sebelumnya.

Mengupgrade aset bucket Cloud Storage

Saat Anda menambahkan aset berjenis bucket Cloud Storage, Dataplex akan otomatis memublikasikan tabel eksternal BigQuery untuk tabel yang dihosting di aset.

Saat Anda mengupgrade aset bucket Cloud Storage, Dataplex akan menghapus tabel eksternal yang terpasang dan membuat tabel BigLake. Tabel BigLake mendukung keamanan yang lebih mendetail, termasuk penyamaran data tingkat baris, tingkat kolom, dan dinamis.

Catatan: Data tidak terstruktur jenis Fileset di bucket Cloud Storage, yang ditandai sebagai Managed, dipublikasikan sebagai tabel objek BigQuery.

Untuk mengupgrade aset bucket Cloud Storage, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Dataplex.

   Buka Dataplex

2. Di halaman Manage, klik nama data lake. Halaman danau akan terbuka.

3. Di tab Zones, klik nama zona data. Halaman zona data akan terbuka.

4. Di tab Assets, klik nama aset yang ingin Anda upgrade.

5. Klik Upgrade ke Dikelola.

REST

Untuk mengupgrade aset bucket, gunakan metode lakes.zones.assets.patch.

Mendowngrade aset bucket Cloud Storage

Saat Anda mendowngrade aset bucket Cloud Storage, Dataplex akan menghapus tabel BigLake yang terlampir dan membuat tabel eksternal.

Konsol

1. Di konsol Google Cloud, buka halaman Dataplex.

   Buka Dataplex

2. Di halaman Manage, klik nama data lake. Halaman danau akan terbuka.

3. Di tab Zones, klik nama zona data. Halaman zona data akan terbuka.

4. Di tab Assets, klik nama aset yang ingin Anda upgrade.

5. Klik Downgrade dari Dikelola.

REST

Untuk mendowngrade aset bucket, gunakan metode lakes.zones.assets.patch. Pastikan Anda menetapkan kolom readAccessMode ke DIRECT di ResourceSpec.

Menghapus aset

Hapus aset dari zona atau danau data sebelum melampirkan ke yang berbeda.

Catatan: Bucket Cloud Storage Anda tidak akan dihapus saat Anda menghapusnya dari zona atau danau data. Anda harus menghapusnya secara eksplisit, jika diperlukan.

Untuk menghapus aset, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Dataplex.

   Buka Dataplex

2. Di halaman Manage, klik data lake tempat Anda ingin menghapus bucket Cloud Storage atau set data BigQuery. Halaman danau untuk danau tersebut akan terbuka.

3. Di tab Zones, klik nama zona data tempat Anda ingin menghapus bucket Cloud Storage atau set data BigQuery. Halaman Zona data untuk zona data tersebut akan terbuka.

4. Di tab Assets, pilih aset dengan mencentang kotak di sebelah kiri nama aset.

5. Klik Hapus Aset.

6. Pada dialog konfirmasi, klik Delete.

REST

Untuk menghapus bucket, gunakan metode lakes.zones,assets.delete.

Langkah selanjutnya

• Pelajari lebih lanjut cara menemukan data.
• Pelajari cara membuat danau.
• Pelajari Cloud Audit Logs lebih lanjut.