Mengelola aset data di data lake

Halaman ini menjelaskan cara menambahkan, mengupgrade, dan menghapus bucket Cloud Storage dan set data BigQuery sebagai aset di zona Dataplex Universal Catalog yang ada.

Ringkasan

Aset dipetakan ke data yang disimpan di Cloud Storage atau BigQuery. Anda dapat memetakan data yang disimpan di Google Cloud project terpisah sebagai aset ke dalam satu zona dalam data lake. Anda dapat melampirkan bucket Cloud Storage atau set data BigQuery yang ada untuk dikelola dari dalam data lake.

Catatan: Aset terlampir tidak dapat dikelola oleh zona data atau data lake lain.

Sebelum memulai

• Jika Anda belum melakukannya, buat lake dan zona di lake tersebut.

• Sebagian besar perintah gcloud lakes memerlukan lokasi. Anda dapat menentukan lokasi menggunakan flag --location.

Peran yang diperlukan

• Untuk menghapus aset, berikan peran IAM yang berisi izin IAM dataplex.lakes.delete, dataplex.zones.delete, atau dataplex.assets.delete. Peran roles/dataplex.admin dan roles/dataplex.editor khusus Dataplex Universal Catalog dapat digunakan untuk memberikan izin ini.

• Untuk menambahkan aset, berikan peran IAM yang berisi izin create - dataplex.lakes.create, dataplex.zones.create, atau dataplex.assets.create. Peran roles/dataplex.admin dan roles/dataplex.editor berisi izin ini.

• Anda juga dapat memberikan izin kepada pengguna atau grup menggunakan peran lama roles/owner dan roles/editor.

• Anda harus mengizinkan layanan Dataplex Universal Catalog pada resource yang dilampirkan ke data lake Dataplex Universal Catalog. Otorisasi diberikan secara otomatis dan implisit untuk resource di project tempat lake dibuat. Untuk project lain, berikan otorisasi layanan Dataplex Universal Catalog pada resource secara eksplisit.

Untuk mengetahui informasi selengkapnya, lihat IAM dan kontrol akses Dataplex Universal Catalog.

Memberikan peran untuk bucket Cloud Storage

Untuk melampirkan bucket Cloud Storage dari project lain ke data lake Anda, Anda harus memberikan peran akun layanan Dataplex Universal Catalog (roles/dataplex.serviceAgent, diambil dari halaman detail data lake di konsol) ke akun layanan Dataplex Universal Catalog (service-PROJECT_NUMBER@gcp-sa-dataplex.) di project yang berisi bucket. Peran ini memberikan peran tingkat administrator prasyarat pada bucket untuk layanan Dataplex Universal Catalog, sehingga izin dapat ditetapkan pada bucket itu sendiri.

Memberikan peran untuk set data BigQuery

Untuk melampirkan set data BigQuery dari project lain ke lake Anda, Anda harus memberikan peran Administrator BigQuery ke akun layanan Katalog Universal Dataplex pada set data tersebut.

Pertimbangan Kontrol Layanan VPC

Dataplex Universal Catalog tidak melanggar perimeter Kontrol Layanan VPC. Sebelum menambahkan aset ke lake, pastikan bucket atau set data pokok berada di jaringan Kontrol Layanan VPC yang sama dengan lake.

Untuk mengetahui informasi selengkapnya, lihat Kontrol Layanan VPC dengan Dataplex Universal Catalog.

Menambahkan aset

Catatan: Anda dapat membuat beberapa aset di zona data secara bersamaan. Anda dapat terus menggunakan zona data saat aset ditambahkan.

Jika tidak ada tumpang-tindih antara region data lake Dataplex Universal Catalog dan salah satu region bucket Cloud Storage, Anda tidak dapat menambahkan bucket ke zona di data lake.

Untuk mempelajari lebih lanjut lokasi region aset Cloud Storage dan cara Dataplex Universal Catalog menangani lokasi bucket saat membuat set data publikasi, lihat Resource regional.

Untuk menambahkan aset, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Lakes Dataplex Universal Catalog.

   Buka Lakes

2. Klik lake yang ingin Anda tambahi bucket Cloud Storage atau set data BigQuery. Halaman danau akan terbuka.

3. Di tab Zones, klik nama zona data yang ingin Anda tambahi aset. Halaman Zona data untuk zona data tersebut akan terbuka.

4. Di tab Aset, klik + Tambahkan Aset. Halaman Tambahkan aset akan terbuka.

5. Klik Tambahkan Aset.

6. Di kolom Type, pilih BigQuery dataset atau Cloud Storage bucket.

7. Di kolom Nama tampilan, masukkan nama untuk aset baru.

8. Di kolom ID, masukkan ID unik untuk aset.

9. Opsional: Masukkan Deskripsi..

10. Di kolom Dataset atau Bucket (berdasarkan jenis aset Anda), klik Telusuri untuk menemukan dan memilih bucket Cloud Storage atau set data BigQuery Anda.

11. Opsional: Jika jenis aset Anda adalah bucket Cloud Storage dan jika Anda ingin Dataplex Universal Catalog mengelola aset, centang kotak Upgrade to Managed. Jika memilih opsi ini, Anda tidak perlu mengupgrade aset secara terpisah. Opsi ini tidak tersedia untuk set data BigQuery.

12. Klik Lanjutkan.

13. Pilih nilai parameter lainnya. Untuk mengetahui informasi selengkapnya tentang setelan keamanan, lihat Keamanan Lake.

14. Klik Kirim.

15. Pastikan Anda telah kembali ke halaman zona data, dan aset baru Anda muncul dalam daftar aset.

REST

Untuk menambahkan aset, gunakan metode lakes.zones.assets.create.

Jika penambahan berhasil, zona data akan otomatis memasuki status aktif. Jika gagal, zona data akan di-roll back ke status sehat sebelumnya.

Mengupgrade aset bucket Cloud Storage

Saat Anda menambahkan aset jenis bucket Cloud Storage, Dataplex Universal Catalog akan otomatis memublikasikan tabel eksternal BigQuery untuk tabel yang dihosting di aset tersebut.

Saat Anda mengupgrade aset bucket Cloud Storage, Dataplex Universal Catalog akan menghapus tabel eksternal yang terlampir dan membuat tabel BigLake. Tabel BigLake mendukung keamanan yang lebih mendetail, termasuk penyamaran data dinamis, tingkat baris, dan tingkat kolom.

Catatan: Data tidak terstruktur berjenis Fileset di bucket Cloud Storage, yang ditandai sebagai Managed dipublikasikan sebagai tabel objek BigQuery.

Untuk mengupgrade aset bucket Cloud Storage, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Lakes Dataplex Universal Catalog.

   Buka Lakes

2. Klik nama danau. Halaman danau akan terbuka.

3. Di tab Zones, klik nama zona data. Halaman zona data akan terbuka.

4. Di tab Aset, klik nama aset yang ingin Anda upgrade.

5. Klik Upgrade ke Terkelola.

REST

Untuk mengupgrade aset bucket, gunakan metode lakes.zones.assets.patch.

Menurunkan versi aset bucket Cloud Storage

Saat Anda menurunkan versi aset bucket Cloud Storage, Dataplex Universal Catalog akan menghapus tabel BigLake yang terlampir dan membuat tabel eksternal.

Konsol

1. Di konsol Google Cloud , buka halaman Lakes Dataplex Universal Catalog.

   Buka Lakes

2. Klik nama danau. Halaman danau akan terbuka.

3. Di tab Zones, klik nama zona data. Halaman zona data akan terbuka.

4. Di tab Aset, klik nama aset yang ingin Anda upgrade.

5. Klik Turunkan versi dari Dikelola.

REST

Untuk menurunkan versi aset bucket, gunakan metode lakes.zones.assets.patch. Pastikan Anda menetapkan kolom readAccessMode ke DIRECT di ResourceSpec.

Menghapus aset

Hapus aset dari zona atau lake data sebelum melampirkannya ke zona atau lake data lain.

Catatan: Bucket Cloud Storage Anda tidak akan dihapus saat Anda menghapusnya dari zona atau lake data. Anda harus menghapusnya secara eksplisit, jika diperlukan.

Untuk menghapus aset, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Lakes Dataplex Universal Catalog.

   Buka Lakes

2. Klik lake tempat Anda ingin menghapus bucket Cloud Storage atau set data BigQuery. Halaman lake untuk lake tersebut akan terbuka.

3. Di tab Zona, klik nama zona data yang ingin Anda hapus bucket Cloud Storage atau set data BigQuery-nya. Halaman Zona data untuk zona data tersebut akan terbuka.

4. Di tab Aset, pilih aset dengan mencentang kotak di sebelah kiri nama aset.

5. Klik Hapus Aset.

6. Pada dialog konfirmasi, klik Delete.

REST

Untuk menghapus bucket, gunakan metode lakes.zones,assets.delete.

Langkah berikutnya

• Pelajari lebih lanjut cara menemukan data.
• Pelajari cara membuat danau.
• Pelajari Cloud Audit Logs lebih lanjut.