Ringkasan plugin

Saat membuat pipeline data di Cloud Data Fusion, Anda menggunakan serangkaian tahap, yang dikenal sebagai node, untuk memindahkan dan mengelola data saat mengalir dari sumber ke sink. Setiap node terdiri dari plugin, modul yang dapat disesuaikan yang memperluas kemampuan Cloud Data Fusion.

Anda dapat menemukan plugin di antarmuka web Cloud Data Fusion dengan membuka halaman Studio. Untuk plugin lainnya, klik Hub.

Plugin di antarmuka web.

Jenis plugin

Plugin dikategorikan ke dalam kategori berikut:

  • Sumber
  • Transformations
  • Analytics
  • Sink
  • Kondisi dan tindakan
  • Pengendali dan pemberitahuan error

Sumber

Plugin sumber terhubung ke database, file, atau streaming real-time tempat pipeline Anda membaca data. Anda menyiapkan sumber untuk pipeline data menggunakan antarmuka web, sehingga Anda tidak perlu khawatir tentang coding koneksi tingkat rendah.

Transformations

Plugin transformasi mengubah data setelah diserap dari sumber. Misalnya, Anda dapat meng-clone data, mengubah format file menjadi JSON, atau menggunakan plugin JavaScript untuk membuat transformasi kustom.

Analytics

Plugin analisis melakukan agregasi, seperti menggabungkan data dari berbagai sumber dan menjalankan operasi analisis dan machine learning.

Sink

Plugin sink menulis data ke resource, seperti Cloud Storage, BigQuery, Spanner, database relasional, sistem file, dan mainframe. Anda dapat membuat kueri data yang ditulis ke sink menggunakan antarmuka web Cloud Data Fusion atau REST API.

Kondisi dan tindakan

Gunakan plugin kondisi dan tindakan untuk menjadwalkan tindakan yang terjadi selama alur kerja yang tidak langsung memanipulasi data dalam alur kerja. Contoh:

  • Gunakan plugin Database untuk menjadwalkan perintah database agar berjalan di akhir pipeline Anda.
  • Gunakan plugin File Move untuk memicu tindakan yang memindahkan file dalam Cloud Storage.

Pengendali dan pemberitahuan error

Saat tahap mengalami nilai null, error logika, atau sumber error lainnya, Anda dapat menggunakan plugin pengendali error untuk menangkap error. Gunakan plugin ini untuk menemukan error dalam output setelah plugin transformasi atau analisis. Anda dapat menulis error ke database untuk dianalisis.

Langkah selanjutnya