Solusi penjadwalan alur kerja

Bagian ini menjelaskan opsi Google Cloud yang dapat Anda gunakan untuk menjadwalkan alur kerja.

Template Workflow Dataproc

Template alur kerja Dataproc menyediakan mekanisme yang fleksibel dan mudah digunakan untuk mengelola serta menjalankan alur kerja. Template Alur Kerja adalah konfigurasi alur kerja yang dapat digunakan kembali. Diagram ini mendefinisikan grafik tugas dengan informasi tentang di mana menjalankan tugas-tugas tersebut.

Cloud Scheduler

Cloud Scheduler adalah penjadwal cron job tingkat perusahaan yang terkelola sepenuhnya. Anda dapat menjadwalkan hampir segala tugas, termasuk tugas batch, big data, dan operasi infrastruktur Cloud. Layanan ini menyediakan penjadwalan berbasis waktu yang sederhana, misalnya, setiap hari atau setiap jam, tanpa mengharuskan Anda menulis kode.

Kelebihan:

  • Mengaktifkan pembuatan instance template alur kerja berbasis waktu berdasarkan ekspresi cron yang sudah dikenal

  • Tidak ada kode untuk ditulis

Tutorial: Alur kerja menggunakan Cloud Scheduler

Cloud Functions

Cloud Functions adalah solusi komputasi ringan yang dapat Anda gunakan untuk membuat fungsi mandiri dan memiliki satu tujuan yang merespons peristiwa Cloud tanpa perlu mengelola lingkungan server atau runtime. Anda dapat menggunakan Cloud Functions untuk meluncurkan Workflows sebagai respons terhadap peristiwa Pub/Sub atau perubahan file di Cloud Storage. Anda dapat menggunakan Cloud Functions dengan Cloud Scheduler untuk alur kerja yang memerlukan penghitungan parameter berbasis waktu.

Kelebihan:

  • Mengaktifkan pembuatan instance alur kerja sebagai respons terhadap peristiwa data, seperti file baru di peristiwa Cloud Storage atau Pub/Sub.

  • Coding minimal yang diperlukan menggunakan library klien Dataproc Go, Node.js, atau Python

  • Membuat alur kerja dan parameter alur kerja secara dinamis

Tutorial: Alur kerja menggunakan Cloud Functions

Cloud Composer

Cloud Composer adalah layanan Apache Airflow terkelola yang dapat Anda gunakan untuk membuat, menjadwalkan, memantau, dan mengelola alur kerja.

Kelebihan:

  • Mendukung penjadwalan berbasis waktu dan peristiwa

  • Penyederhanaan panggilan ke Dataproc menggunakan Operator

  • Membuat alur kerja dan parameter alur kerja secara dinamis

  • Membangun aliran data yang mencakup beberapa produk Google Cloud

Tutorial: Alur kerja menggunakan Cloud Composer