Cloud Data Fusion menyediakan plugin Sink Dataplex Universal Catalog untuk menyerap data ke salah satu aset yang didukung Dataplex Universal Catalog.
Sebelum memulai
- Jika Anda belum memiliki instance Cloud Data Fusion, buatlah. Plugin ini tersedia di instance yang berjalan di Cloud Data Fusion versi 6.6 atau yang lebih baru. Untuk mengetahui informasi selengkapnya, lihat Membuat instance publik Cloud Data Fusion.
- Set data BigQuery atau bucket Cloud Storage tempat data di-ingest harus menjadi bagian dari data lake Dataplex Universal Catalog.
- Agar data dapat dibaca dari entity Cloud Storage, Dataproc Metastore harus dilampirkan ke data lake.
- Data CSV di entitas Cloud Storage tidak didukung.
- Di project Dataplex Universal Catalog, aktifkan Akses Google Pribadi di
subnet, yang biasanya ditetapkan ke
default, atau tetapkaninternal_ip_onlykefalse.
Peran yang diperlukan
Untuk mendapatkan izin yang
diperlukan untuk mengelola peran,
minta administrator untuk memberi Anda
peran IAM berikut pada agen layanan Dataproc dan agen layanan Cloud Data Fusion (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.):
-
Developer Dataplex (
roles/dataplex.developer) -
Pembaca Data Dataplex (
roles/dataplex.dataReader) -
Dataproc Metastore Metadata User (
roles/metastore.metadataUser) -
Agen Layanan Cloud Dataplex (
roles/dataplex.serviceAgent) -
Pembaca Metadata Dataplex (
roles/dataplex.metadataReader)
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran kustom atau peran yang telah ditentukan lainnya.
Menambahkan plugin ke pipeline
Di konsol Google Cloud , buka halaman Instances Cloud Data Fusion.
Halaman ini memungkinkan Anda mengelola instance.
Untuk membuka instance, klik Lihat instance.
Buka halaman Studio, luaskan menu Sinkronkan, lalu klik Dataplex.
Mengonfigurasi plugin
Setelah menambahkan plugin ini ke pipeline di halaman Studio, klik sink Dataplex Universal Catalog untuk mengonfigurasi dan menyimpan propertinya.
Untuk mengetahui informasi selengkapnya tentang konfigurasi, lihat referensi Sink Dataplex.
Opsional: Mulai menggunakan pipeline contoh
Pipeline contoh tersedia, termasuk pipeline sumber SAP ke sink Dataplex Universal Catalog dan pipeline sumber Dataplex Universal Catalog ke sink BigQuery.
Untuk menggunakan pipeline contoh, buka instance Anda di UI Cloud Data Fusion, klik Hub > Pipelines, lalu pilih salah satu pipeline Dataplex Universal Catalog. Dialog akan terbuka untuk membantu Anda membuat pipeline.
Menjalankan pipeline
Setelah men-deploy pipeline, buka pipeline Anda di halaman Studio Cloud Data Fusion.
Klik Konfigurasi > Sumber Daya.
Opsional: Ubah CPU Executor dan Memori berdasarkan ukuran data keseluruhan dan jumlah transformasi yang digunakan dalam pipeline Anda.
Klik Simpan.
Untuk memulai pipeline data, klik Run.
Langkah berikutnya
- Memproses data dengan Cloud Data Fusion menggunakan plugin Sumber Katalog Universal Dataplex.