Mengorkestrasi alur kerja
Untuk meminta dukungan atau memberikan masukan terkait fitur ini, kirim email ke bigquery-workflows-preview-feedback@google.com.
Dokumen ini menjelaskan cara mengatur alur kerja, termasuk cara menjadwalkan alur kerja dan memeriksa pengoperasian alur kerja terjadwal.
Alur kerja didukung oleh Dataform.
Setiap jadwal alur kerja dijalankan oleh akun layanan Dataform kustom, yang Anda pilih selama pembuatan jadwal. Untuk informasi selengkapnya tentang jenis akun layanan di Dataform, lihat Tentang akun layanan di Dataform.
Perubahan yang Anda buat pada alur kerja akan otomatis disimpan, tetapi hanya tersedia untuk Anda dan pengguna yang diberi peran Admin Dataform di project. Untuk memperbarui jadwal dengan versi baru alur kerja, Anda harus men-deploy alur kerja. Men-deploy akan memperbarui jadwal untuk menggunakan versi alur kerja Anda saat ini. Jadwal selalu menjalankan versi terbaru yang di-deploy.
Jadwal alur kerja yang berisi notebook menggunakan spesifikasi runtime default. Selama operasi terjadwal alur kerja yang berisi notebook, BigQuery menulis output notebook ke bucket Cloud Storage yang dipilih selama pembuatan jadwal.
Sebelum memulai
Sebelum memulai, buat alur kerja.
Mengaktifkan penjadwalan alur kerja
Untuk menjadwalkan alur kerja, Anda harus memberikan peran berikut ke akun layanan yang ingin Anda gunakan untuk jadwal alur kerja:
- Service Account User (
roles/iam.serviceAccountUser) - Ikuti Memberikan satu peran di akun layanan untuk menambahkan akun layanan Anda sebagai akun utama ke akun layanan itu sendiri. Dengan kata lain, tambahkan akun layanan sebagai akun utama ke akun layanan yang sama. Kemudian, berikan peran Service Account User kepada akun utama ini.
Jika alur kerja Anda berisi kueri SQL, Anda harus memberikan peran berikut ke akun layanan yang ingin Anda gunakan untuk jadwal alur kerja:
- BigQuery Job User (
roles/bigquery.jobUser) - Ikuti artikel Memberikan satu peran di project untuk memberikan peran BigQuery Job User ke akun layanan Anda di project tempat alur kerja Anda membaca data.
- BigQuery Data Viewer (
roles/bigquery.dataViewer) - Ikuti artikel Memberikan satu peran di project untuk memberikan peran BigQuery Data Viewer ke akun layanan Anda di project tempat alur kerja Anda membaca data.
- BigQuery Data Editor (
roles/bigquery.dataEditor) - Ikuti artikel Memberikan satu peran di project untuk memberikan peran BigQuery Data Editor ke akun layanan Anda di project tempat alur kerja Anda menulis data.
Jika alur kerja Anda berisi notebook, Anda harus memberikan peran berikut ke akun layanan yang ingin Anda gunakan untuk jadwal alur kerja:
- Pengguna Notebook Executor (
roles/aiplatform.notebookExecutorUser) - Ikuti artikel Memberikan satu peran di project untuk memberikan peran Notebook Executor User ke akun layanan Anda di project yang dipilih.
- Storage Admin (
roles/storage.admin) - Ikuti Menambahkan akun utama ke kebijakan tingkat bucket untuk menambahkan akun layanan Anda sebagai akun utama ke bucket Cloud Storage yang ingin Anda gunakan untuk menyimpan output notebook yang dijalankan dalam operasi alur kerja terjadwal, dan berikan peran Storage Admin ke akun utama ini.
Selain itu, Anda harus memberikan peran berikut ke akun layanan Dataform default:
- Service Account Token Creator(
roles/iam.serviceAccountTokenCreator) - Ikuti Memberikan akses pembuatan token ke akun layanan untuk menambahkan akun layanan Dataform default sebagai akun utama ke akun layanan Anda, dan berikan peran Service Account Token Creator ke akun utama ini.
Untuk mempelajari akun layanan di Dataform lebih lanjut, lihat Tentang akun layanan di Dataform.
Peran yang diperlukan
Untuk mendapatkan izin yang diperlukan guna mengelola alur kerja, minta administrator untuk memberi Anda peran IAM berikut:
-
Untuk menghapus alur kerja:
Dataform Admin (
roles/dataform.Admin) di alur kerja -
Untuk membuat, mengedit, menjalankan, dan menghapus jadwal alur kerja:
Dataform Admin (
roles/dataform.Admin) di alur kerja -
Untuk melihat dan menjalankan alur kerja:
Dataform Viewer (
roles/dataform.Viewer) di project -
Untuk melihat jadwal alur kerja:
Dataform Editor (
roles/dataform.Editor) di project
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Untuk mengetahui informasi selengkapnya tentang IAM Dataform, lihat Kontrol akses dengan IAM.
Membuat jadwal alur kerja
Untuk menjadwalkan alur kerja, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, luaskan project dan folder Alur Kerja, lalu pilih alur kerja.
Klik Jadwalkan.
Di panel Schedule workflow, di kolom Schedule name, masukkan nama untuk jadwal.
Di kolom Service account, pilih akun layanan.
Jika alur kerja Anda berisi notebook, di kolom Cloud Storage bucket, klik Browse, lalu pilih atau buat bucket Cloud Storage untuk menyimpan output notebook dalam alur kerja Anda.
Akun layanan yang Anda pilih harus diberi peran IAM Storage Admin di bucket yang dipilih. Untuk informasi selengkapnya, lihat Mengaktifkan penjadwalan alur kerja.
Di bagian Schedule frequency, lakukan tindakan berikut:
- Di drop-down Repeats, pilih frekuensi proses alur kerja terjadwal.
- Di kolom At time, masukkan waktu untuk menjalankan alur kerja terjadwal.
- Di drop-down Zona waktu, pilih zona waktu untuk jadwal.
Klik Buat jadwal.
Saat Anda membuat jadwal, versi alur kerja saat ini akan otomatis di-deploy. Untuk memperbarui jadwal dengan versi baru alur kerja, deploy alur kerja.
Versi alur kerja terbaru yang di-deploy berjalan pada waktu dan frekuensi yang dipilih.
Men-deploy alur kerja
Men-deploy alur kerja akan memperbarui jadwalnya dengan versi alur kerja saat ini. Jadwal menjalankan versi alur kerja terbaru yang di-deploy.
Untuk men-deploy alur kerja, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, luaskan project dan folder Alur Kerja, lalu pilih alur kerja.
Klik Deploy.
Jadwal yang sesuai akan diperbarui dengan versi alur kerja saat ini. Versi alur kerja terbaru yang di-deploy akan berjalan pada waktu yang dijadwalkan.
Menonaktifkan jadwal
Untuk menjeda operasi terjadwal alur kerja yang dipilih tanpa menghapus jadwal, Anda dapat menonaktifkan jadwal.
Untuk menonaktifkan jadwal alur kerja yang dipilih, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, luaskan project dan folder Alur Kerja, lalu pilih alur kerja.
Klik Lihat jadwal.
Di tabel Detail jadwal, di baris Status jadwal, klik tombol Jadwal diaktifkan.
Mengaktifkan jadwal
Untuk melanjutkan operasi terjadwal dari jadwal alur kerja yang dinonaktifkan, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, luaskan project dan folder Alur Kerja, lalu pilih alur kerja.
Klik Lihat jadwal.
Di tabel Detail jadwal, di baris Status jadwal, klik tombol Jadwal dinonaktifkan.
Menjalankan alur kerja yang di-deploy secara manual
Saat Anda menjalankan alur kerja yang di-deploy secara manual dalam jadwal yang dipilih, BigQuery akan mengeksekusi alur kerja yang di-deploy satu kali, secara independen dari jadwal.
Untuk menjalankan alur kerja yang di-deploy secara manual, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Orchestration.
Klik nama jadwal alur kerja yang dipilih.
Di halaman Detail jadwal, klik Jalankan.
Melihat semua jadwal alur kerja
Untuk melihat semua jadwal alur kerja di project Google Cloud Anda, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Orchestration.
Opsional: Untuk menampilkan kolom tambahan dengan detail jadwal alur kerja, klik Column display options, lalu pilih kolom dan klik OK.
Melihat detail jadwal alur kerja
Untuk melihat detail jadwal alur kerja yang dipilih, ikuti langkah-langkah berikut:
Panel Penjelajah
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, luaskan project dan folder Alur Kerja, lalu pilih alur kerja.
Klik Lihat jadwal.
Halaman Orkestrasi
Di konsol Google Cloud, buka halaman Orchestration.
Klik nama jadwal alur kerja yang dipilih.
Melihat operasi terjadwal sebelumnya
Untuk melihat operasi sebelumnya dari jadwal alur kerja yang dipilih, ikuti langkah-langkah berikut:
Panel Penjelajah
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, luaskan project dan folder Alur Kerja, lalu pilih alur kerja.
Klik Executions.
Opsional: Untuk memuat ulang daftar operasi sebelumnya, klik Muat ulang.
Halaman Orkestrasi
- Di konsol Google Cloud, buka halaman Orchestration.
Klik nama alur kerja yang dipilih.
Di halaman Detail jadwal, di bagian Eksekusi sebelumnya, periksa operasi sebelumnya.
Opsional: Untuk memuat ulang daftar operasi sebelumnya, klik Muat ulang.
Mengedit jadwal alur kerja
Untuk mengedit jadwal alur kerja, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, luaskan project dan folder Alur Kerja, lalu pilih alur kerja.
Klik Lihat jadwal, lalu klik Edit.
Dalam dialog Jadwalkan alur kerja, edit jadwal, lalu klik Perbarui jadwal.
Menghapus jadwal alur kerja
Untuk menghapus jadwal alur kerja secara permanen, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Orchestration.
Lakukan salah satu hal berikut:
Klik nama jadwal alur kerja yang dipilih, lalu di halaman Schedule details, klik Delete.
Di baris yang berisi jadwal alur kerja yang dipilih, klik Lihat tindakan di kolom Tindakan, lalu klik Hapus.
Pada dialog yang muncul, klik Hapus.
Langkah selanjutnya
- Pelajari alur kerja di BigQuery lebih lanjut.
- Pelajari cara membuat alur kerja.