Menjadwalkan eksekusi produksi

Menjadwalkan eksekusi produksi

Panduan memulai ini memandu Anda melakukan langkah-langkah berikut untuk menjadwalkan eksekusi produksi di Dataform:

• Buat repositori Dataform.
• Berikan akses Dataform ke BigQuery.

• Buat konfigurasi rilis untuk mengonfigurasi lingkungan produksi.

  Buat konfigurasi rilis production pada frekuensi pembuatan hasil kompilasi production.

• Buat konfigurasi alur kerja untuk menjadwalkan eksekusi di lingkungan produksi.

  Buat konfigurasi alur kerja production, pilih konfigurasi rilis production, lalu tetapkan jadwal untuk menjalankan hasil kompilasi production.

• Lihat hasil kompilasi sebelumnya.

• Melihat eksekusi sebelumnya.

• Bersihkan aset yang dibuat.

Sebelum memulai

1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

4. Aktifkan API BigQuery and Dataform.

   Mengaktifkan API

5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

6. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

7. Aktifkan API BigQuery and Dataform.

   Mengaktifkan API

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk melakukan semua tugas dalam tutorial ini, minta administrator Anda untuk memberi Anda peran IAM berikut:

• Admin Dataform (roles/dataform.admin) di repositori
• Dataform Editor (roles/dataform.editor) di ruang kerja dan pemanggilan alur kerja

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat repositori Dataform

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik Create repository.

3. Di halaman Create repository, lakukan hal berikut:

   1. Di kolom Repository ID, masukkan quickstart-production.

   2. Dalam daftar Region, pilih europe-west4.

   3. Klik Create.

4. Klik Done.

Memberikan akses Dataform ke BigQuery

Untuk menjalankan alur kerja di BigQuery, akun layanan Dataform harus memiliki peran yang diperlukan berikut ini:

• BigQuery Data Editor pada project tempat Dataform memerlukan akses baca dan tulis. File tersebut biasanya mencakup project yang menghosting repositori Dataform Anda.
• BigQuery Data Viewer pada project tempat Dataform memerlukan akses hanya baca.
• BigQuery Job User di project yang menghosting repositori Dataform Anda.

Untuk memberikan peran ini, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman IAM.

   Buka halaman IAM

2. Klik Tambahkan.

3. Di kolom New principals, masukkan ID akun layanan Dataform Anda.

4. Di menu drop-down Select a role, pilih peran BigQuery Job User.

5. Klik Add another role, lalu di menu drop-down Select a role, pilih peran BigQuery Data Editor.

6. Klik Add another role, lalu di menu drop-down Select a role, pilih peran BigQuery Data Viewer.

7. Klik Simpan.

Membuat konfigurasi rilis

Untuk membuat hasil kompilasi produksi dari repositori quickstart-production, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Release configurations, lalu klik New release configuration.

4. Di panel Create release configuration, konfigurasi setelan berikut:

   1. Di kolom ID Rilis, masukkan production.

   2. Di kolom Git commitish, biarkan nilai default main .

   3. Di drop-down Frequency, pilih Custom.

   4. Di kolom Custom schedule, masukkan 0 16 * * *.

   5. Di drop-down Zona Waktu, pilih zona waktu UTC+1, misalnya, Waktu Greenwich (GMT).

   Setiap hari pada pukul 16.00 UTC+1, Dataform akan mengompilasi repositori quickstart-production dan menerapkan setelan kompilasi yang dikonfigurasi dalam konfigurasi rilis ini untuk membuat hasil kompilasi production.

5. Klik Create.

Konfigurasi rilis production membuat hasil kompilasi seluruh repositori quickstart-production setiap hari pada pukul 16.00 UTC+1.

Membuat konfigurasi alur kerja

Untuk menjadwalkan eksekusi tabel production, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Workflow configurations, lalu klik New Workflow configuration.

4. Di panel Create Workflow configuration, di kolom Configuration ID, masukkan production.

5. Di drop-down Release configuration, pilih production.

6. Di kolom Frequency, masukkan 0 17 * * *.

7. Di drop-down Zona Waktu, pilih zona waktu UTC+1, misalnya, Waktu Greenwich (GMT).

   Setiap hari, pukul 17.00 UTC+1, Dataform akan mengeksekusi hasil kompilasi production terbaru dari repositori quickstart-production.

   Untuk memastikan Dataform mengeksekusi hasil kompilasi terbaru dalam konfigurasi rilis yang sesuai, jeda minimal 1 jam antara waktu pembuatan hasil kompilasi dan waktu eksekusi terjadwal.

8. Klik Semua tindakan.

   Dataform akan menjalankan semua tindakan alur kerja SQL dalam hasil kompilasi production.

9. Klik Create.

Konfigurasi alur kerja production menjalankan seluruh hasil kompilasi terbaru yang dibuat oleh konfigurasi rilis production setiap hari pada pukul 16.00 UTC+1.

Lihat hasil kompilasi production sebelumnya

Untuk melihat hasil kompilasi production terjadwal sebelumnya, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Release configurations.

4. Klik production.

Lihat production eksekusi alur kerja sebelumnya

Untuk melihat eksekusi alur kerja production sebelumnya, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Workflow configurations.

Pembersihan

Agar akun Google Cloud Anda tidak dikenakan biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus set data yang dibuat di BigQuery

Agar tidak menimbulkan biaya untuk aset BigQuery, ikuti langkah-langkah berikut untuk menghapus set data bernama dataform_production:

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Penjelajah, luaskan project Anda lalu pilih dataform_production.

3. Klik menu Tindakan, lalu pilih Hapus.

4. Pada dialog Delete dataset, masukkan delete, lalu klik Delete.

Menghapus konfigurasi rilis Dataform

Pembuatan konfigurasi rilis Dataform tidak dikenai biaya. Namun, jika Anda ingin menghapus konfigurasi rilis production, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Release configurations.

4. Dengan konfigurasi rilis production, klik menu Lainnya, lalu klik Hapus.

5. Pada dialog Hapus konfigurasi rilis, klik Hapus.

Menghapus konfigurasi alur kerja Dataform

Agar tidak menimbulkan biaya untuk aset BigQuery, ikuti langkah-langkah berikut untuk menghapus konfigurasi alur kerja production Dataform:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Klik quickstart-production.

3. Klik Workflow configurations.

4. Dengan konfigurasi alur kerja production, klik menu Lainnya, lalu klik Hapus.

5. Pada dialog Hapus konfigurasi rilis, klik Hapus.

Menghapus repositori Dataform

Pembuatan repositori Dataform tidak dikenai biaya. Namun, jika Anda ingin menghapus repositori dan semua kontennya, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataform.

   Buka Dataform

2. Dengan quickstart-production, klik menu Lainnya di , lalu pilih Hapus.

3. Di jendela Delete repository, masukkan nama repositori untuk mengonfirmasi penghapusan.

4. Untuk mengonfirmasi, klik Delete.

Langkah selanjutnya

• Untuk mempelajari lebih lanjut siklus proses kode di Dataform, lihat Pengantar siklus proses kode di Dataform.

• Untuk mempelajari lebih lanjut praktik terbaik untuk siklus proses kode di Dataform, lihat Mengelola siklus proses kode.

• Untuk mempelajari lebih lanjut konfigurasi rilis di Dataform, lihat Membuat konfigurasi rilis.

• Untuk mempelajari konfigurasi alur kerja di Dataform lebih lanjut, lihat Menjadwalkan eksekusi dengan konfigurasi alur kerja.