Mengelola aset data di lake

Halaman ini menjelaskan cara menambahkan, mengupgrade, dan menghapus bucket Cloud Storage dan set data BigQuery sebagai aset di zona Dataplex yang ada.

Ringkasan

Aset memetakan ke data yang disimpan di Cloud Storage atau BigQuery. Anda dapat memetakan data yang disimpan dalam project Google Cloud yang terpisah sebagai aset ke dalam satu zona dalam satu lake. Anda dapat memasang bucket Cloud Storage atau set data BigQuery yang sudah ada untuk dikelola dari dalam lake.

Catatan: Aset yang disertakan tidak dapat dikelola oleh zona data atau lake lain.

Sebelum memulai

• Jika belum melakukannya, buat lake dan zona di lake tersebut.

• Sebagian besar perintah gcloud lakes memerlukan lokasi. Anda dapat menentukan lokasi menggunakan flag --location.

Kontrol akses

• Untuk menghapus aset, berikan peran IAM yang berisi izin IAM dataplex.lakes.delete, dataplex.zones.delete, atau dataplex.assets.delete. Peran roles/dataplex.admin dan roles/dataplex.editor khusus Dataplex dapat digunakan untuk memberikan izin tersebut.

• Untuk menambahkan aset, berikan peran IAM yang berisi izin create - dataplex.lakes.create, dataplex.zones.create, atau dataplex.assets.create. Peran roles/dataplex.admin dan roles/dataplex.editor berisi izin ini.

• Anda juga dapat memberikan izin kepada pengguna atau grup menggunakan peran lama roles/owner dan roles/editor.

• Anda harus mengizinkan layanan Dataplex pada resource yang ditambahkan ke dataplex lake. Otorisasi diberikan secara otomatis dan implisit untuk resource dalam project tempat lake dibuat. Untuk project lain, izinkan layanan Dataplex pada resource secara eksplisit.

Untuk mengetahui informasi selengkapnya, baca artikel IAM Dataplex dan kontrol akses.

Memberikan peran untuk bucket Cloud Storage

Untuk menambahkan bucket Cloud Storage dari project lain ke lake Anda, Anda harus memberikan peran akun layanan Dataplex (roles/dataplex.serviceAgent) kepada akun layanan Dataplex ([e-mail], yang diambil dari halaman detail lake di konsol) dalam project yang berisi bucket tersebut. Peran ini memberi layanan Dataplex peran tingkat administrator prasyarat di bucket sehingga izin dapat ditetapkan di bucket itu sendiri.

Memberikan peran untuk set data BigQuery

Untuk melampirkan set data BigQuery dari project lain ke lake Anda, Anda harus memberikan peran Administrator BigQuery ke akun layanan Dataplex pada set data tersebut.

Pertimbangan Kontrol Layanan VPC

Dataplex tidak melanggar perimeter Kontrol Layanan VPC. Sebelum menambahkan aset ke lake, pastikan bucket atau set data yang mendasarinya berada di jaringan Kontrol Layanan VPC yang sama dengan lake.

Untuk mengetahui informasi lebih lanjut, lihat Kontrol Layanan VPC dengan Dataplex.

Menambahkan aset

Anda dapat menambahkan bucket Cloud Storage atau aset set data BigQuery dengan menerbitkan metode API Dataplex lakes.zones.assets.create atau menambahkan bucket atau set data di halaman Zona data yang dibuka di browser lokal.

Catatan: Anda dapat membuat beberapa aset di zona data secara serentak. Anda dapat terus menggunakan zona data saat aset sedang ditambahkan.

Jika tidak ada tumpang tindih antara region lake Dataplex dan salah satu region bucket Cloud Storage, Anda tidak dapat menambahkan bucket ke zona di lake Anda.

Untuk mempelajari lebih lanjut lokasi region aset Cloud Storage dan cara Dataplex menangani lokasi bucket saat membuat set data publikasi, lihat Resource regional.

Konsol

1. Di konsol Google Cloud, buka halaman Dataplex:

   Membuka Dataplex di Konsol Google Cloud

2. Di halaman Manage, klik data lake yang ingin Anda tambahi bucket Cloud Storage atau set data BigQuery. Halaman danau akan terbuka.

   

3. Pada tab Zones, klik nama zona data yang ingin Anda tambahi aset. Halaman Zona data untuk zona data tersebut akan terbuka.

4. Di tab Aset, klik + Tambahkan Aset. Halaman Add assets akan terbuka.

5. Klik Tambahkan Aset.

6. Pada kolom Jenis, pilih set data BigQuery atau bucket Cloud Storage.

7. Di kolom Nama tampilan, masukkan nama untuk aset baru.

8. Di kolom ID, masukkan ID unik untuk aset.

9. Opsional: Masukkan Deskripsi..

10. Di kolom Dataset atau Bucket (berdasarkan jenis aset), klik Browse untuk menemukan dan memilih bucket Cloud Storage atau set data BigQuery.

11. Opsional: Jika jenis aset Anda adalah bucket Cloud Storage dan jika Anda ingin Dataplex mengelola aset, centang kotak Upgrade ke Terkelola. Jika memilih opsi ini, Anda tidak perlu mengupgrade aset secara terpisah. Opsi ini tidak tersedia untuk set data BigQuery.

12. Klik Lanjutkan.

13. Pilih nilai parameter lainnya. Untuk informasi selengkapnya tentang setelan keamanan, lihat Keamanan danau.

14. Klik Kirim untuk menambahkan aset.

15. Pastikan Anda telah kembali ke halaman zona data, dan aset baru Anda muncul dalam daftar aset.

REST

Ikuti petunjuk API untuk menambahkan bucket menggunakan APIs Explorer.

Saat penambahan berhasil, zona data akan otomatis memasuki status aktif. Jika gagal, zona data akan di-roll back ke status responsif sebelumnya.

Mengupgrade aset bucket Cloud Storage

Saat Anda menambahkan aset jenis bucket Cloud Storage, Dataplex akan otomatis memublikasikan tabel eksternal BigQuery untuk tabel yang dihosting di aset.

Saat Anda mengupgrade aset bucket Cloud Storage, Dataplex menghapus tabel eksternal yang terpasang dan membuat tabel BigLake. Tabel BigLake mendukung keamanan yang lebih terperinci, termasuk tingkat baris, tingkat kolom, dan data masking dinamis.

Catatan: Data tidak terstruktur dari jenis Fileset di bucket Cloud Storage, yang ditandai sebagai Managed dipublikasikan sebagai tabel objek BigQuery.

Anda dapat mengupgrade aset bucket Cloud Storage di Konsol Google Cloud atau dengan menerbitkan metode Dataplex API Patch.

Konsol

1. Di konsol Google Cloud, buka halaman Dataplex:

   Buka Dataplex

2. Di halaman Kelola, klik nama danau. Halaman danau akan terbuka.

3. Pada tab Zones, klik nama zona data. Halaman zona data akan terbuka.

4. Di tab Aset, klik nama aset yang ingin diupgrade.

5. Klik Upgrade ke Terkelola.

REST

Ikuti petunjuk API untuk mengupgrade aset bucket menggunakan Cloud Explorer.

Mendowngrade aset bucket Cloud Storage

Saat Anda mendowngrade aset bucket Cloud Storage, Dataplex akan menghapus tabel BigLake yang terlampir dan membuat tabel eksternal.

Anda dapat mendowngrade aset bucket Cloud Storage di Konsol Google Cloud atau dengan menerbitkan metode Dataplex API Patch, dengan kolom readAccessMode ditetapkan ke DIRECT di ResourceSpec.

Konsol

1. Di konsol Google Cloud, buka halaman Dataplex:

   Buka Dataplex

2. Di halaman Kelola, klik nama danau. Halaman danau akan terbuka.

3. Pada tab Zones, klik nama zona data. Halaman zona data akan terbuka.

4. Di tab Aset, klik nama aset yang ingin diupgrade.

5. Klik Downgrade dari Terkelola.

REST

Ikuti petunjuk API untuk mendowngrade aset bucket menggunakan Cloud Explorer. Pastikan Anda menetapkan kolom readAccessMode ke DIRECT di ResourceSpec.

Menghapus aset

Anda dapat menghapus bucket Cloud Storage atau aset set data BigQuery di konsol Google Cloud atau dengan menerbitkan metode Dataplex API lakes.zones.assets.delete. Hapus aset dari zona data atau lake sebelum melampirkannya ke zona data yang berbeda.

Catatan: Bucket Cloud Storage tidak dihapus saat Anda menghapusnya dari zona data atau lake. Jika diinginkan, Anda harus menghapusnya secara eksplisit.

Petunjuk berikut menunjukkan cara menghapus aset Dataplex menggunakan Konsol Google Cloud atau Dataplex API.

Konsol

1. Di konsol Google Cloud, buka halaman Dataplex:

   Membuka Dataplex di Konsol Google Cloud

2. Di halaman Manage, klik lake tempat Anda ingin menghapus bucket Cloud Storage atau set data BigQuery. Halaman danau untuk danau tersebut akan terbuka.

   

3. Pada tab Zones, klik nama zona data yang ingin Anda hapus bucket Cloud Storage atau set data BigQuery-nya. Halaman Zona data untuk zona data tersebut akan terbuka.

4. Pada tab Aset, pilih aset dengan mencentang kotak di sebelah kiri nama aset.

5. Klik Hapus Aset untuk menghapus aset.

6. Pada dialog, klik Hapus untuk mengonfirmasi detasemen.

REST

Ikuti petunjuk API untuk menghapus bucket menggunakan Cloud Explorer.

Apa langkah selanjutnya?

• Pelajari lebih lanjut cara menemukan data.
• Pelajari lebih lanjut cara membuat danau.
• Pelajari Cloud Audit Logs lebih lanjut.