Dokumen ini memberikan panduan dan praktik terbaik untuk menggunakan Dataplex.
Pilih project untuk danau Anda
Saat memilih project untuk menghosting lake, pertimbangkan faktor-faktor berikut:
Project harus berada dalam perimeter Kontrol Layanan VPC yang sama dengan data yang ditetapkan untuk berada di dalam lake.
Akun layanan lake memerlukan izin administrator di bucket Cloud Storage atau set data BigQuery. Dataplex membuat tabel eksternal di BigQuery untuk tabel yang ditemukan di Cloud Storage. Dataplex juga menyediakan metadata tabel BigQuery yang tersedia, dan tabel yang ditemukan di bucket Cloud Storage, di Metastore Dataproc. Metastore Dataproc terletak di dalam project data lake.
Setelan dan batasan Cloud Storage
Region: Dataplex mendukung bucket satu region dan multi-region di beberapa region Google Cloud.
Kelas penyimpanan: Bucket Cloud Storage dari semua kelas penyimpanan didukung (Standard, Nearline, Coldline, Archive). Biaya pengambilan data tambahan mungkin dikenakan saat mengakses atau memindai data Nearline, Coldline, atau Archive.
ACL Bucket: Dataplex hanya mendukung bucket Cloud Storage dengan kontrol akses seragam. Kontrol akses terperinci tidak didukung.
Pemohon Membayar: Bucket Cloud Storage dengan fitur Requester Pays aktif tidak didukung.
Panduan keamanan dan izin
Dataplex memerlukan penambahan akun layanan Dataplex sebagai akun layanan administratif pada bucket dan set data terkelola.
Dengan Dataplex, analis dapat mengakses bucket Cloud Storage dan set data BigQuery di banyak project. Untuk mengaktifkan akses ini, Dataplex memerlukan penambahan akun layanan Dataplex dengan kontrol administratif ke project ini.
Untuk Discovery, Dataplex menambahkan akun layanan Metastore Dataproc ke bucket Cloud Storage. Jika memiliki cluster Dataproc Metastore sendiri, Anda mungkin ingin membuat Dataplex lake menggunakan layanan Metastore Dataproc, yang merupakan opsi saat Anda membuat lake.
Jika Anda memilih untuk menambahkan bucket Cloud Storage dengan akses terperinci ke lake, Dataplex akan memberikan akses penuh ke bucket tersebut melalui lake karena izin Dataplex disebarkan ke semua objek di dalam bucket. Jika Anda memerlukan akses yang lebih mendetail, sebaiknya bagi data dalam bucket menjadi beberapa bucket.