Cloud Data Fusion menyediakan plugin Sumber Dataplex untuk membaca data dari entitas (tabel) Dataplex yang berada di aset Cloud Storage atau BigQuery. Plugin Sumber Dataplex memungkinkan Anda memperlakukan data di aset Cloud Storage sebagai tabel dan memfilter data dengan kueri SQL.
Sebelum memulai
Buat instance Cloud Data Fusion, jika Anda belum memilikinya. Plugin ini tersedia di instance yang berjalan di Cloud Data Fusion versi 6.6 atau yang lebih baru.
Data sumber harus sudah menjadi bagian dari zona Dataplex dan aset (bucket Cloud Storage atau set data BigQuery).
Untuk menggunakan tabel dari Cloud Storage, Anda harus mengonfigurasi metastore untuk data lake.
Agar data dapat dibaca dari entity Cloud Storage, Dataproc Metastore harus dilampirkan ke data lake.
Data CSV di entitas Cloud Storage tidak didukung.
Di project Dataplex, aktifkan Akses Google Pribadi di subnetwork, yang biasanya ditetapkan ke
default, atau tetapkaninternal_ip_onlykefalse.
Batasan
Untuk aset Cloud Storage: plugin ini tidak mendukung pembacaan dari file CSV. Fungsi ini mendukung pembacaan dari format JSON, Avro, Parquet, dan ORC.
Untuk aset Cloud Storage: Tanggal Mulai Partisi dan Tanggal Akhir Partisi tidak berlaku.
Peran yang diperlukan
Untuk mendapatkan izin yang diperlukan untuk mengelola peran, minta administrator untuk memberi Anda peran IAM berikut di agen layanan Dataproc dan agen layanan Cloud Data Fusion (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com):
-
Developer Dataplex (
roles/dataplex.developer) -
Pembaca Data Dataplex (
roles/dataplex.dataReader) -
Pengguna Metadata Dataproc Metastore (
roles/metastore.metadataUser) -
Agen Layanan Cloud Dataplex (
roles/dataplex.serviceAgent) -
Pembaca Metadata Dataplex (
roles/dataplex.metadataReader)
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Menambahkan plugin ke pipeline
Di konsol Google Cloud, buka halaman Instance Cloud Data Fusion.
Halaman ini memungkinkan Anda mengelola instance.
Klik Lihat instance untuk membuka instance di UI Cloud Data Fusion.
Buka halaman Studio, luaskan menu Sumber, lalu klik Dataplex.
Mengonfigurasi plugin
Setelah menambahkan plugin ini ke pipeline di halaman Studio, klik sumber Dataplex untuk mengonfigurasi propertinya.
Untuk informasi selengkapnya tentang konfigurasi, lihat referensi Sumber Dataplex.
Opsional: Mulai menggunakan pipeline contoh
Contoh pipeline tersedia, termasuk sumber SAP ke pipeline sink Dataplex dan sumber Dataplex ke pipeline sink BigQuery.
Untuk menggunakan pipeline contoh, buka instance Anda di UI Cloud Data Fusion, klik Hub > Pipelines, lalu pilih salah satu pipeline Dataplex. Dialog akan terbuka untuk membantu Anda membuat pipeline.
Langkah selanjutnya
- Menyerap data dengan Cloud Data Fusion menggunakan plugin Dataplex Sink.