Menjadwalkan eksekusi dengan konfigurasi alur kerja

Dokumen ini menunjukkan cara membuat konfigurasi alur kerja di Dataform untuk menjadwalkan dan mengonfigurasi eksekusi alur kerja SQL. Anda dapat menggunakan konfigurasi alur kerja untuk menjalankan alur kerja Dataform SQL sesuai jadwal.

Tentang konfigurasi alur kerja

Untuk menjadwalkan eksekusi Dataform dari semua tindakan alur kerja SQL atau yang dipilih di BigQuery, Anda dapat membuat konfigurasi alur kerja. Dalam konfigurasi alur kerja, Anda memilih konfigurasi rilis kompilasi, memilih tindakan alur kerja SQL untuk eksekusi, dan menetapkan jadwal eksekusi.

Kemudian, selama eksekusi terjadwal konfigurasi alur kerja Anda, Dataform akan men-deploy pilihan tindakan Anda dari hasil kompilasi terbaru dalam konfigurasi rilis Anda ke BigQuery. Anda juga dapat memicu eksekusi konfigurasi alur kerja secara manual dengan Alur kerja Dataform API.

Konfigurasi alur kerja Dataform berisi setelan eksekusi berikut:

  • ID konfigurasi alur kerja
  • Konfigurasi rilis

  • Akun layanan

    Akun layanan yang terkait dengan konfigurasi alur kerja. Anda dapat memilih akun layanan Dataform default, akun layanan yang terkait dengan project Google Cloud, atau memasukkan akun layanan yang berbeda secara manual. Secara default, konfigurasi alur kerja menggunakan akun layanan yang sama dengan repositori-nya.

  • Tindakan alur kerja SQL yang akan dijalankan:

    • Semua tindakan
    • Pilihan tindakan
    • Pilihan tag

  • Jadwal eksekusi dan zona waktu

Sebelum memulai

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka halaman Dataform

  2. Pilih atau buat repositori.

  3. Buat konfigurasi rilis.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat konfigurasi alur kerja, minta administrator untuk memberi Anda peran IAM Dataform Editor (roles/dataform.editor) di repositori. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk menggunakan akun layanan selain akun layanan Dataform default, berikan akses ke akun layanan kustom.

Membuat konfigurasi alur kerja

Untuk membuat konfigurasi alur kerja Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di bagian Workflow configurations, klik Create.

  3. Di panel Create Workflow configuration, di kolom Configuration ID, masukkan ID unik untuk konfigurasi alur kerja.

    ID hanya dapat berisi angka, huruf, tanda hubung, dan garis bawah.

  4. Di menu drop-down Release configuration, pilih konfigurasi rilis kompilasi.

  5. Opsional: Di kolom Frequency, masukkan frekuensi eksekusi dalam format unix-cron.

    Untuk memastikan Dataform mengeksekusi hasil kompilasi terbaru dalam konfigurasi rilis yang sesuai, jeda minimal 1 jam antara waktu pembuatan hasil kompilasi dan waktu eksekusi terjadwal.

  6. Di drop-down Service account, pilih akun layanan untuk konfigurasi alur kerja.

    Di menu drop-down, Anda dapat memilih akun layanan Dataform default atau akun layanan apa pun yang terkait dengan project Google Cloud yang dapat Anda akses. Jika Anda tidak memilih akun layanan, konfigurasi alur kerja akan menggunakan akun layanan repositori.

  7. Opsional: Di menu drop-down Zona Waktu, pilih zona waktu untuk eksekusi.

    Zona waktu default adalah UTC.

  8. Pilih tindakan alur kerja SQL yang akan dijalankan:

    1. Untuk menjalankan seluruh alur kerja SQL, klik All actions.
    2. Untuk menjalankan tindakan yang dipilih dalam alur kerja SQL, klik Selection of actions, lalu pilih tindakan.
    3. Untuk menjalankan tindakan dengan tag yang dipilih, klik Pilihan tag, lalu pilih tag.
    4. Opsional: Untuk menjalankan tindakan atau tag yang dipilih dan dependensinya, pilih opsi IncludeDependencies.
    5. Opsional: Untuk menjalankan tindakan atau tag yang dipilih dan turunannya, pilih opsi Sertakan dependen.
    6. Opsional: Untuk mem-build ulang semua tabel dari awal, pilih opsi Run with full refresh.

    Tanpa opsi ini, Dataform akan memperbarui tabel inkremental tanpa mem-build ulang tabel tersebut dari awal.

  9. Klik Create.



Misalnya, konfigurasi alur kerja berikut mengeksekusi tindakan dengan tag hourly setiap jam di zona waktu CEST:

  • ID Konfigurasi: production-hourly
  • Konfigurasi rilis: -
  • Frekuensi: 0 * * * *
  • Zona waktu: Central European Summer Time (CEST)
  • Pemilihan tindakan alur kerja SQL: pemilihan tag, tag hourly

Mengedit konfigurasi alur kerja

Untuk mengedit konfigurasi alur kerja, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Berdasarkan konfigurasi alur kerja yang ingin Anda edit, klik menu More, lalu klik Edit.
  3. Di panel Edit Workflow configuration, edit setelan konfigurasi rilis, lalu klik Save.

Menghapus konfigurasi alur kerja

Untuk menghapus konfigurasi alur kerja, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Dengan konfigurasi alur kerja yang ingin Anda hapus, klik menu More, lalu klik Delete.
  3. Pada dialog Hapus konfigurasi rilis, klik Hapus.

Langkah selanjutnya