Jenis plugin

Halaman ini menjelaskan jenis plugin yang diinstal secara default saat Anda membuat instance Cloud Data Fusion. Plugin ini tersedia di namespace default di instance Anda, dan namespace baru yang Anda buat. Anda dapat mendownload plugin tambahan dari Hub.

Plugin memiliki kategori berikut di Cloud Data Fusion. Panel ini muncul di panel kiri di halaman Studio Cloud Data Fusion.

Sumber

Plugin sumber terhubung ke database, file, atau streaming real-time tempat pipeline Anda membaca data. Anda menyiapkan sumber untuk pipeline data menggunakan antarmuka web, sehingga Anda tidak perlu menggunakan kode untuk mengonfigurasi koneksi tingkat rendah.

Transformasi

Plugin transformasi mengubah data setelah dimuat dari sumber. Misalnya, Anda dapat menggunakan plugin ini untuk meng-clone data, mengubah format file menjadi JSON, atau membuat transformasi kustom menggunakan JavaScript.

Analytics

Plugin analisis melakukan agregasi, seperti menggabungkan data dari berbagai sumber dan menjalankan operasi analisis dan machine learning.

Sink

Plugin sink menulis data ke resource, seperti Cloud Storage, BigQuery, Spanner, database relasional, sistem file, dan mainframe. Anda dapat membuat kueri data yang ditulis ke sink menggunakan antarmuka web Cloud Data Fusion atau REST API.

Kondisi dan tindakan

Plugin kondisi dan tindakan menjadwalkan tindakan yang terjadi selama alur kerja, tetapi tidak langsung memanipulasi data dalam alur kerja.

Contoh kasus penggunaan:

  • Jadwalkan perintah database untuk dijalankan di akhir pipeline dengan menambahkan plugin tindakan Database ke pipeline Anda.
  • Picu tindakan yang memindahkan file dalam Cloud Storage dengan menambahkan plugin File Move ke pipeline Anda.

Pengendali dan pemberitahuan error

Saat tahap pipeline mengalami nilai null, error logis, atau error lainnya, plugin pengendali error akan menangkapnya. Gunakan plugin ini untuk menemukan error dalam output setelah plugin transformasi atau analisis di pipeline Anda. Anda dapat menulis error ke database untuk dianalisis.

Langkah selanjutnya