Menjadwalkan eksekusi produksi

Menjadwalkan eksekusi produksi

Panduan memulai ini akan memandu Anda melalui langkah-langkah berikut untuk menjadwalkan eksekusi produksi di Dataform:

• Buat repositori Dataform.
• Berikan akses Dataform ke BigQuery.

• Buat konfigurasi rilis untuk mengonfigurasi lingkungan produksi.

  Buat konfigurasi rilis production dengan menetapkan frekuensi pembuatan hasil kompilasi production.

• Buat konfigurasi alur kerja untuk menjadwalkan eksekusi di lingkungan produksi.

  Buat konfigurasi alur kerja production, pilih konfigurasi rilis production, dan tetapkan jadwal untuk menjalankan hasil kompilasi production.

• Melihat hasil kompilasi sebelumnya.

• Melihat eksekusi sebelumnya.

• Membersihkan aset yang dibuat.

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery and Dataform APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery and Dataform APIs.

   Enable the APIs

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk melakukan semua tugas dalam tutorial ini, minta administrator Anda untuk memberi Anda peran IAM berikut:

• Dataform Admin (roles/dataform.admin) di repositori
• Dataform Editor (roles/dataform.editor) di ruang kerja dan workflowInvocations

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat repositori Dataform

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik Create repository.

3. Di halaman Create repository, lakukan hal berikut:

   1. Di kolom Repository ID, masukkan quickstart-production.

   2. Dalam daftar Region, pilih europe-west4.

   3. Klik Create.

4. Klik Done.

Memberikan akses Dataform ke BigQuery

Untuk menjalankan alur kerja di BigQuery, akun layanan Dataform harus memiliki peran yang diperlukan berikut:

• BigQuery Data Editor di project yang memerlukan akses baca dan tulis Dataform. Biasanya, project ini menyertakan project yang menghosting repositori Dataform Anda.
• BigQuery Data Viewer di project yang memerlukan akses hanya baca untuk Dataform.
• BigQuery Job User di project yang menghosting repositori Dataform Anda.

Untuk memberikan peran ini, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman IAM.

   Buka halaman IAM

2. Klik Tambahkan.

3. Di kolom New principals, masukkan ID akun layanan Dataform Anda.

4. Di menu drop-down Select a role, pilih peran BigQuery Job User.

5. Klik Add another role, lalu di menu drop-down Select a role, pilih peran BigQuery Data Editor.

6. Klik Add another role, lalu di menu drop-down Select a role, pilih peran BigQuery Data Viewer.

7. Klik Simpan.

Membuat konfigurasi rilis

Untuk membuat hasil kompilasi produksi repositori quickstart-production, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Konfigurasi rilis, lalu klik Konfigurasi rilis baru.

4. Di panel Create release configuration, konfigurasikan setelan berikut:

   1. Di kolom Release ID, masukkan production.

   2. Di kolom Git commitish, gunakan nilai default main .

   3. Di drop-down Frequency, pilih Custom.

   4. Di kolom Jadwal kustom, masukkan 0 16 * * *.

   5. Di drop-down Zona Waktu, pilih zona waktu UTC+1, misalnya, Waktu Greenwich (GMT).

   Setiap hari pukul 16.00 UTC+1, Dataform akan mengompilasi repositori quickstart-production dan menerapkan setelan kompilasi yang dikonfigurasi dalam konfigurasi rilis ini untuk membuat hasil kompilasi production.

5. Klik Create.

Konfigurasi rilis production membuat hasil kompilasi dari seluruh repositori quickstart-production setiap hari pukul 16.00 UTC+1.

Membuat konfigurasi alur kerja

Untuk menjadwalkan eksekusi tabel production, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Konfigurasi alur kerja, lalu klik Konfigurasi alur kerja baru.

4. Di panel Create workflow configuration, di kolom Configuration ID, masukkan production.

5. Di drop-down Konfigurasi rilis, pilih production.

6. Di kolom Frequency, masukkan 0 17 * * *.

7. Di drop-down Zona Waktu, pilih zona waktu UTC+1, misalnya, Waktu Greenwich (GMT).

   Setiap hari, pada pukul 17.00 UTC+1, Dataform akan mengeksekusi hasil kompilasi production terbaru dari repositori quickstart-production.

   Untuk memastikan Dataform mengeksekusi hasil kompilasi terbaru dalam konfigurasi rilis yang sesuai, pertahankan jeda minimal 1 jam antara waktu pembuatan hasil kompilasi dan waktu eksekusi terjadwal.

8. Klik Semua tindakan.

   Dataform akan menjalankan semua tindakan alur kerja SQL dalam hasil kompilasi production.

9. Klik Create.

Konfigurasi alur kerja production mengeksekusi seluruh hasil kompilasi terbaru yang dibuat oleh konfigurasi rilis production setiap hari pukul 16.00 UTC+1.

Melihat hasil kompilasi production sebelumnya

Untuk melihat hasil kompilasi production terjadwal sebelumnya, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Konfigurasi rilis.

4. Klik production.

Melihat eksekusi alur kerja production sebelumnya

Untuk melihat eksekusi alur kerja production sebelumnya, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Konfigurasi alur kerja.

Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus set data yang dibuat di BigQuery

Untuk menghindari tagihan aset BigQuery, ikuti langkah-langkah berikut untuk menghapus set data yang bernama dataform_production:

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan pilih dataform_production.

3. Klik menu Tindakan , lalu pilih Hapus.

4. Pada dialog Delete dataset, masukkan delete, lalu klik Delete.

Menghapus konfigurasi rilis Dataform

Tidak ada biaya yang terkait dengan pembuatan konfigurasi rilis Dataform. Namun, jika Anda ingin menghapus konfigurasi rilis production, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Konfigurasi rilis.

4. Di konfigurasi rilis production, klik menu Lainnya , lalu klik Hapus.

5. Pada dialog Hapus konfigurasi rilis, klik Hapus.

Menghapus konfigurasi alur kerja Dataform

Untuk menghindari tagihan aset BigQuery, ikuti langkah-langkah berikut untuk menghapus konfigurasi alur kerja production Dataform:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Konfigurasi alur kerja.

4. Di konfigurasi alur kerja production, klik menu Lainnya , lalu klik Hapus.

5. Pada dialog Hapus konfigurasi rilis, klik Hapus.

Menghapus repositori Dataform

Tidak ada biaya yang terkait dengan pembuatan repositori Dataform. Namun, jika Anda ingin menghapus repositori dan semua kontennya, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Dengan quickstart-production, klik menu More, lalu pilih Delete.

3. Di jendela Delete repository, masukkan nama repositori untuk mengonfirmasi penghapusan.

4. Untuk mengonfirmasi, klik Hapus.

Langkah selanjutnya

• Untuk mempelajari siklus proses kode di Dataform lebih lanjut, lihat Pengantar siklus proses kode di Dataform.

• Untuk mempelajari praktik terbaik siklus proses kode di Dataform lebih lanjut, lihat Mengelola siklus proses kode.

• Untuk mempelajari konfigurasi rilis di Dataform lebih lanjut, lihat Membuat konfigurasi rilis.

• Untuk mempelajari konfigurasi alur kerja lebih lanjut di Dataform, lihat Menjadwalkan eksekusi dengan konfigurasi alur kerja.