Menjadwalkan eksekusi produksi
Panduan memulai ini akan memandu Anda melalui langkah-langkah berikut untuk menjadwalkan eksekusi produksi di Dataform:
- Buat repositori Dataform.
- Memberikan akses Dataform ke BigQuery.
Buat konfigurasi rilis untuk mengonfigurasi lingkungan produksi.
Buat konfigurasi rilis
production
dan tetapkan frekuensi pembuatan hasil kompilasiproduction
.Buat konfigurasi alur kerja untuk menjadwalkan eksekusi di lingkungan produksi.
Buat konfigurasi alur kerja
production
, pilih konfigurasi rilisproduction
, dan tetapkan jadwal untuk menjalankan hasil kompilasiproduction
.
Sebelum memulai
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
Admin Dataform (
roles/dataform.admin
) di repositori -
Editor Dataform (
roles/dataform.editor
) di ruang kerja dan workflowInvocations Di konsol Google Cloud , buka halaman Dataform.
Klik
Buat repositori.Di halaman Create repository, lakukan hal berikut:
Di kolom Repository ID, masukkan
quickstart-production
.Dalam daftar Region, pilih
europe-west4
.Klik Buat.
Klik Selesai.
- BigQuery Data Editor di project yang memerlukan akses baca dan tulis Dataform. Project ini biasanya mencakup project yang menghosting repositori Dataform Anda.
- BigQuery Data Viewer di project yang memerlukan akses hanya baca Dataform.
- BigQuery Job User di project yang menghosting repositori Dataform Anda.
Di konsol Google Cloud , buka halaman IAM.
Klik Tambahkan.
Di kolom New principals, masukkan ID akun layanan Dataform Anda.
Di daftar Select a role, pilih peran BigQuery Job User.
Klik Add another role, lalu di daftar Select a role, pilih peran BigQuery Data Editor.
Klik Add another role, lalu di daftar Select a role, pilih peran BigQuery Data Viewer.
Klik Simpan.
Di konsol Google Cloud , buka halaman Dataform.
Klik
quickstart-production
.Klik Konfigurasi rilis, lalu klik Konfigurasi rilis baru.
Di panel Buat konfigurasi rilis, konfigurasikan setelan berikut:
Di kolom Release ID, masukkan
production
.Di kolom Git commitish, gunakan nilai default
main
.Di menu Frekuensi, pilih Kustom.
Di kolom Jadwal kustom, masukkan
0 16 * * *
.Di menu Zona waktu, pilih zona waktu UTC+1, misalnya, Greenwich Mean Time (GMT).
Setiap hari pukul 16.00 UTC+1, Dataform akan mengompilasi repositori
quickstart-production
dan menerapkan setelan kompilasi yang dikonfigurasi dalam konfigurasi rilis ini untuk membuat hasil kompilasiproduction
.Klik Buat.
Di konsol Google Cloud , buka halaman Dataform.
Klik
quickstart-production
.Klik Workflow configurations, lalu klik New workflow configuration.
Di panel Create workflow configuration, di kolom Configuration ID, masukkan
production
.Di menu Konfigurasi rilis, pilih
production
.Di kolom Frekuensi, masukkan
0 17 * * *
.Di menu Zona waktu, pilih zona waktu UTC+1, misalnya, Greenwich Mean Time (GMT).
Setiap hari pada pukul 17.00 UTC+1, Dataform menjalankan
production
hasil kompilasi terbaru dari repositoriquickstart-production
.Untuk memastikan Dataform menjalankan hasil kompilasi terbaru dalam konfigurasi rilis yang sesuai, pertahankan jeda minimal 1 jam antara waktu pembuatan hasil kompilasi dan waktu eksekusi terjadwal.
Klik Semua tindakan.
Dataform menjalankan semua tindakan alur kerja dalam hasil kompilasi
production
.Klik Buat.
Di konsol Google Cloud , buka halaman Dataform.
Klik
quickstart-production
.Klik Konfigurasi rilis.
Klik
production
.Di konsol Google Cloud , buka halaman Dataform.
Klik
quickstart-production
.Klik Konfigurasi alur kerja.
Di konsol Google Cloud , buka halaman BigQuery.
Di panel Explorer, luaskan project Anda dan pilih
dataform_production
.Klik menu Tindakan
, lalu pilih Hapus.Pada dialog Hapus set data, masukkan hapus, lalu klik Hapus.
Di konsol Google Cloud , buka halaman Dataform.
Klik
quickstart-production
.Klik Konfigurasi rilis.
Dengan konfigurasi rilis
production
, klik menu Lainnya, lalu klik Hapus.Pada dialog Hapus konfigurasi rilis, klik Hapus.
Di konsol Google Cloud , buka halaman Dataform.
Klik
quickstart-production
.Klik Konfigurasi alur kerja.
Dengan konfigurasi alur kerja
production
, klik menu Lainnya, lalu klik Hapus.Pada dialog Hapus konfigurasi rilis, klik Hapus.
Di konsol Google Cloud , buka halaman Dataform.
Di
quickstart-production
, klik menu Lainnya, lalu pilih Hapus.Di jendela Hapus repositori, masukkan nama repositori untuk mengonfirmasi penghapusan.
Untuk mengonfirmasi, klik Hapus.
Untuk mempelajari lebih lanjut siklus proses kode di Dataform, lihat Pengantar siklus proses kode di Dataform.
Untuk mempelajari lebih lanjut praktik terbaik untuk siklus proses alur kerja di Dataform, lihat Praktik terbaik untuk siklus proses alur kerja.
Untuk mempelajari lebih lanjut konfigurasi rilis di Dataform, lihat Membuat konfigurasi rilis.
Untuk mempelajari lebih lanjut konfigurasi alur kerja di Dataform, lihat Menjadwalkan eksekusi dengan konfigurasi alur kerja.
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan untuk melakukan semua tugas dalam tutorial ini, minta administrator Anda untuk memberi Anda peran IAM berikut:
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran kustom atau peran yang telah ditentukan lainnya.
Membuat repositori Dataform
Memberikan akses Dataform ke BigQuery
Untuk menjalankan alur kerja di BigQuery, akun layanan Dataform harus memiliki peran wajib berikut:
Untuk memberikan peran ini, ikuti langkah-langkah berikut:
Membuat konfigurasi rilis
Untuk membuat hasil kompilasi produksi repositori quickstart-production
, ikuti langkah-langkah berikut:
Konfigurasi rilis production
membuat hasil kompilasi
seluruh repositori quickstart-production
setiap hari pada pukul 16.00 UTC+1.
Membuat konfigurasi alur kerja
Untuk menjadwalkan eksekusi tabel production
, ikuti langkah-langkah berikut:
Konfigurasi alur kerja production
menjalankan seluruh hasil kompilasi terbaru yang dibuat oleh konfigurasi rilis production
setiap hari pukul 16.00 UTC+1.
Melihat hasil kompilasi production
sebelumnya
Untuk melihat hasil kompilasi production
terjadwal sebelumnya, ikuti langkah-langkah berikut:
Melihat eksekusi alur kerja production
sebelumnya
Untuk melihat eksekusi alur kerja production
sebelumnya, ikuti langkah-langkah berikut:
Pembersihan
Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.
Hapus set data yang dibuat di BigQuery
Untuk menghindari biaya aset BigQuery, ikuti langkah-langkah berikut untuk menghapus set data yang disebut dataform_production
:
Hapus konfigurasi rilis Dataform
Tidak ada biaya yang terkait dengan pembuatan konfigurasi rilis Dataform. Namun, jika Anda ingin menghapus konfigurasi rilis production
, ikuti langkah-langkah berikut:
Menghapus konfigurasi alur kerja Dataform
Untuk menghindari biaya aset BigQuery, ikuti langkah-langkah berikut untuk menghapus konfigurasi alur kerja production
Dataform:
Menghapus repositori Dataform
Tidak ada biaya yang terkait dengan pembuatan repositori Dataform. Namun, jika Anda ingin menghapus repositori dan semua isinya, ikuti langkah-langkah berikut: