Menjadwalkan eksekusi dengan konfigurasi alur kerja

Dokumen ini menunjukkan cara membuat konfigurasi alur kerja di Dataform untuk menjadwalkan dan mengonfigurasi eksekusi alur kerja SQL. Anda dapat menggunakan konfigurasi alur kerja untuk menjalankan alur kerja Dataform SQL sesuai jadwal.

Tentang konfigurasi alur kerja

Untuk menjadwalkan eksekusi Dataform dari semua atau tindakan alur kerja SQL yang dipilih di BigQuery, Anda dapat membuat konfigurasi alur kerja. Dalam konfigurasi alur kerja, Anda memilih konfigurasi rilis kompilasi, memilih tindakan alur kerja SQL untuk dieksekusi, dan menetapkan jadwal eksekusi.

Kemudian, selama eksekusi terjadwal konfigurasi alur kerja, Dataform akan men-deploy pilihan tindakan Anda dari hasil kompilasi terbaru dalam konfigurasi rilis ke BigQuery. Anda juga dapat memicu eksekusi konfigurasi alur kerja secara manual dengan workflowConfigs Dataform API.

Konfigurasi alur kerja Dataform berisi setelan eksekusi berikut:

  • ID konfigurasi alur kerja
  • Konfigurasi rilis

  • Akun layanan

    Akun layanan yang terkait dengan konfigurasi alur kerja. Anda dapat memilih akun layanan Dataform default, akun layanan yang terkait dengan project Google Cloud, atau memasukkan akun layanan lain secara manual. Secara default, konfigurasi alur kerja menggunakan akun layanan yang sama dengan repositories-nya.

  • Tindakan alur kerja SQL yang akan dijalankan:

    • Semua tindakan
    • Pemilihan tindakan
    • Pemilihan tag

  • Jadwal eksekusi dan zona waktu

Sebelum memulai

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka halaman Dataform

  2. Pilih atau buat repositori.

  3. Buat konfigurasi rilis.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna membuat konfigurasi alur kerja, minta administrator untuk memberi Anda peran IAM Dataform Admin (roles/dataform.admin) di repositori. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk menggunakan akun layanan selain akun layanan Dataform default, berikan akses ke akun layanan kustom.

Membuat konfigurasi alur kerja

Untuk membuat konfigurasi alur kerja Dataform, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di bagian Konfigurasi alur kerja, klik Buat.

  3. Di panel Create workflow configuration, di kolom Configuration ID, masukkan ID unik untuk konfigurasi alur kerja.

    ID hanya boleh berisi angka, huruf, tanda hubung, dan garis bawah.

  4. Di drop-down Konfigurasi rilis, pilih konfigurasi rilis kompilasi.

  5. Opsional: Di kolom Frequency, masukkan frekuensi eksekusi dalam format unix-cron.

    Untuk memastikan Dataform mengeksekusi hasil kompilasi terbaru dalam konfigurasi rilis yang sesuai, pertahankan jeda minimal 1 jam antara waktu pembuatan hasil kompilasi dan waktu eksekusi terjadwal.

  6. Di menu drop-down Service account, pilih akun layanan untuk konfigurasi alur kerja.

    Di menu drop-down, Anda dapat memilih akun layanan Dataform default atau akun layanan apa pun yang terkait dengan project Google Cloud yang aksesnya Anda miliki. Jika Anda tidak memilih akun layanan, konfigurasi alur kerja akan menggunakan akun layanan repositori.

  7. Opsional: Di drop-down Zona waktu, pilih zona waktu untuk eksekusi.

    Zona waktu default adalah UTC.

  8. Pilih tindakan alur kerja SQL yang akan dijalankan:

    1. Untuk menjalankan seluruh alur kerja SQL, klik All actions.
    2. Untuk menjalankan tindakan yang dipilih dalam alur kerja SQL, klik Pemilihan tindakan, lalu pilih tindakan.
    3. Untuk menjalankan tindakan dengan tag yang dipilih, klik Pemilihan tag, lalu pilih tag.
    4. Opsional: Untuk menjalankan tindakan atau tag yang dipilih dan dependensinya, pilih opsi Sertakan dependensi.
    5. Opsional: Untuk menjalankan tindakan atau tag yang dipilih dan dependensinya, pilih opsi Sertakan dependensi.
    6. Opsional: Untuk mem-build ulang semua tabel dari awal, pilih opsi Run with full refresh.

    Tanpa opsi ini, Dataform akan memperbarui tabel inkremental tanpa membangun ulang dari awal.

  9. Klik Create.



Misalnya, konfigurasi alur kerja berikut mengeksekusi tindakan dengan tag hourly setiap jam di zona waktu CEST:

  • ID Konfigurasi: production-hourly
  • Konfigurasi rilis: -
  • Frekuensi: 0 * * * *
  • Zona waktu: Central European Summer Time (CEST)
  • Pemilihan tindakan alur kerja SQL: pemilihan tag, tag hourly

Mengedit konfigurasi alur kerja

Untuk mengedit konfigurasi alur kerja, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di konfigurasi alur kerja yang ingin diedit, klik menu Lainnya, lalu klik Edit.
  3. Di panel Edit workflow configuration, edit setelan konfigurasi rilis, lalu klik Save.

Menghapus konfigurasi alur kerja

Untuk menghapus konfigurasi alur kerja, ikuti langkah-langkah berikut:

  1. Di repositori Anda, buka Rilis & Penjadwalan.
  2. Di samping konfigurasi alur kerja yang ingin Anda hapus, klik menu More, lalu klik Delete.
  3. Pada dialog Hapus konfigurasi rilis, klik Hapus.

Langkah selanjutnya