Ringkasan konektivitas terkelola

Dokumen ini memberikan ringkasan tentang pipeline konektivitas terkelola yang dapat Anda gunakan untuk mengimpor metadata dari sumber pihak ketiga ke Dataplex.

Konektivitas terkelola memungkinkan Anda mengimpor metadata ke Dataplex dalam skala besar. Pipeline konektivitas terkelola mengekstrak metadata dari sumber data Anda, lalu mengimpor metadata ke Dataplex. Jika perlu, pipeline ini juga akan membuat grup entri Katalog Dataplex di project Google Cloud Anda. Anda dapat mengatur alur kerja, dan menjadwalkan tugas impor berdasarkan persyaratan Anda.

Anda membuat konektor kustom sendiri untuk mengekstrak metadata dari sumber pihak ketiga. Misalnya, Anda dapat membuat konektor untuk mengekstrak metadata dari sumber seperti MySQL, SQL Server, Oracle, Snowflake, Databricks, dan lainnya. Untuk mengetahui langkah-langkah dalam mem-build contoh konektor kustom, lihat Mengembangkan konektor kustom untuk impor metadata.

Untuk mengetahui langkah-langkah menjalankan pipeline konektivitas terkelola, lihat Mengimpor metadata dari sumber kustom menggunakan Alur Kerja.

Cara kerja konektivitas terkelola

Diagram berikut menunjukkan pipeline konektivitas terkelola.

Pipeline konektivitas terkelola.

Pada tingkat tinggi, berikut cara kerja konektivitas terkelola:

  1. Anda mem-build konektor untuk sumber data.

    Konektor harus berupa image Artifact Registry yang dapat berjalan di Dataproc Serverless.

  2. Anda menjalankan pipeline konektivitas terkelola di Workflows, sebuah platform orkestrasi.

  3. Pipeline konektivitas terkelola melakukan hal-hal berikut:

    1. Membuat grup entri target berdasarkan konfigurasi Anda, jika grup entri belum ada.
    2. Menjalankan konektor. Konektor mengekstrak metadata dari sumber data Anda dan membuat file impor metadata yang dapat diimpor ke Katalog Dataplex.
    3. Memantau progres ekstraksi metadata.
    4. Menjalankan tugas impor metadata untuk mengimpor metadata ke Dataplex Catalog.
    5. Memantau progres tugas impor metadata.

Pipeline konektivitas terkelola menggunakan Dataproc Serverless untuk menjalankan konektor, dan metode API impor metadata Dataplex untuk menjalankan tugas impor metadata.

Metadata yang Anda impor terdiri dari entri Katalog Dataplex dan aspeknya. Untuk mengetahui informasi selengkapnya tentang metadata Katalog Dataplex, lihat Ringkasan Katalog Dataplex.

Langkah selanjutnya