Ringkasan plugin

Saat membuat pipeline data di Cloud Data Fusion, Anda menggunakan serangkaian tahap, yang dikenal sebagai node, untuk memindahkan dan mengelola data saat mengalir dari sumber ke sink. Setiap node terdiri dari plugin, sebuah modul yang dapat disesuaikan dan memperluas kemampuan Cloud Data Fusion.

Anda dapat menemukan plugin di antarmuka web Cloud Data Fusion dengan membuka halaman Studio. Untuk plugin lainnya, klik Hub.

Plugin di antarmuka web.

Jenis plugin

Plugin dikategorikan ke dalam kategori berikut:

  • Sumber
  • Transformasi
  • Analisis
  • Sink
  • Ketentuan dan tindakan
  • Peringatan dan pengendali error

Sumber

Plugin sumber terhubung ke database, file, atau aliran real-time tempat pipeline Anda membaca data. Anda menyiapkan sumber untuk pipeline data menggunakan antarmuka web, sehingga tidak perlu melakukan coding koneksi tingkat rendah.

Transformasi

Transformasikan data perubahan plugin setelah diserap dari sumber. Misalnya, Anda dapat meng-clone data, mengubah format file menjadi JSON, atau menggunakan plugin JavaScript untuk membuat transformasi kustom.

Analisis

Plugin Analytics melakukan agregasi, seperti menggabungkan data dari berbagai sumber serta menjalankan operasi analisis dan machine learning.

Sink

Plugin sink menulis data ke resource, seperti Cloud Storage, BigQuery, Spanner, database relasional, sistem file, dan mainframe. Anda dapat membuat kueri data yang ditulis ke sink menggunakan antarmuka web Cloud Data Fusion atau REST API.

Ketentuan dan tindakan

Gunakan plugin kondisi dan tindakan untuk menjadwalkan tindakan yang terjadi selama alur kerja yang tidak secara langsung memanipulasi data dalam alur kerja. Contoh:

  • Gunakan plugin Database untuk menjadwalkan perintah database agar dijalankan di akhir pipeline.
  • Gunakan plugin File Move untuk memicu tindakan yang memindahkan file dalam Cloud Storage.

Peringatan dan pengendali error

Jika tahapan menemukan nilai null, error logis, atau sumber error lainnya, Anda dapat menggunakan plugin pengendali error untuk menangkap error. Gunakan plugin ini untuk menemukan error dalam output setelah plugin transformasi atau analisis. Anda dapat menulis error tersebut ke database untuk dianalisis.

Langkah selanjutnya