Mengorkestrasi notebook
Untuk memberikan masukan terkait orkestrasi notebook, kirim email ke bigquery-notebooks-scheduling-support@google.com.
Dokumen ini menjelaskan cara mengatur notebook Colab Enterprise di BigQuery, termasuk cara menjadwalkan notebook dan memeriksa operasi notebook terjadwal.
Notebook adalah aset kode yang didukung oleh Dataform.
Anda dapat menjadwalkan notebook untuk berjalan secara otomatis pada waktu dan frekuensi yang ditentukan—misalnya, untuk melatih model ML, memanggil API eksternal, atau menjalankan kode BigQuery DataFrames.
Perubahan yang Anda buat pada notebook akan otomatis disimpan, tetapi hanya tersedia untuk Anda dan pengguna yang memiliki akses ke notebook. Untuk memperbarui jadwal dengan versi baru notebook, Anda perlu men-deploy notebook. Dengan men-deploy notebook, Anda memperbarui jadwalnya dengan versi notebook saat ini. Jadwal menjalankan notebook versi terbaru yang di-deploy.
Setiap jadwal notebook dijalankan oleh akun layanan Dataform kustom, yang Anda pilih selama pembuatan jadwal. Untuk informasi selengkapnya tentang jenis akun layanan di Dataform, lihat Tentang akun layanan di Dataform.
Dataform menulis output notebook terjadwal yang dijalankan ke bucket Cloud Storage yang dipilih selama pembuatan jadwal.
Jadwal notebook menggunakan runtime E2 standar. Biaya Colab Enterprise untuk runtime berlaku. Anda dikenai biaya untuk pemrosesan runtime berdasarkan jenis mesin E2. Untuk mengetahui informasi tentang harga runtime E2 standar, lihat Harga Colab Enterprise.
Sebelum memulai
Sebelum memulai, buat notebook.
Mengaktifkan penjadwalan notebook
Untuk menjadwalkan notebook, Anda harus memberikan peran berikut ke akun layanan Dataform kustom yang ingin Anda gunakan untuk jadwal notebook:
- Pengguna Notebook Executor (
roles/aiplatform.notebookExecutorUser) - Ikuti Memberikan satu peran di project untuk memberikan peran Pengguna Notebook Executor ke akun layanan Dataform kustom Anda di project yang dipilih.
- Storage Admin (
roles/storage.admin) - Ikuti Menambahkan akun utama ke kebijakan tingkat bucket untuk menambahkan akun layanan Dataform kustom sebagai akun utama ke bucket Cloud Storage yang ingin Anda gunakan untuk menyimpan output eksekusi notebook terjadwal, dan berikan peran Storage Admin ke akun utama ini.
- Service Account User (
roles/iam.serviceAccountUser) - Ikuti Memberikan satu peran di akun layanan untuk menambahkan akun layanan Dataform kustom Anda sebagai akun utama ke akun layanan itu sendiri. Dengan kata lain, tambahkan akun layanan Dataform kustom sebagai akun utama ke akun layanan Dataform kustom yang sama. Kemudian, berikan peran Service Account User kepada akun utama ini.
Selain itu, Anda harus memberikan peran berikut ke akun layanan Dataform default:
- Service Account Token Creator(
roles/iam.serviceAccountTokenCreator) - Ikuti Memberikan akses pembuatan token ke akun layanan Dataform kustom untuk menambahkan akun layanan Dataform default sebagai akun utama ke akun layanan Dataform kustom Anda, dan berikan peran Service Account Token Creator ke akun utama ini.
Untuk mempelajari akun layanan di Dataform lebih lanjut, lihat Tentang akun layanan di Dataform.
Izin yang diperlukan
Untuk membuat jadwal notebook, Anda memerlukan peran berikut:
- Dataform Admin (
roles/dataform.admin) - BigQuery Read Session User (
roles/bigquery.readSessionUser) atau BigQuery Studio User (roles/bigquery.studioUser)
Untuk mengedit dan menghapus jadwal notebook (Pratinjau), Anda memerlukan
peran Dataform Editor (roles/dataform.editor).
Untuk melihat jadwal notebook (Pratinjau), Anda memerlukan peran
Dataform Viewer (roles/dataform.viewer).
Untuk mengetahui informasi selengkapnya tentang IAM BigQuery, lihat Kontrol akses dengan IAM.
Buat jadwal
Untuk menjadwalkan notebook, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Penjelajah, luaskan project Anda dan folder Notebook, dan jika perlu, folder Notebook bersama. Klik nama notebook yang ingin Anda jadwalkan.
Klik Jadwalkan.
Di panel Schedule Notebook, di kolom Schedule name, masukkan nama untuk jadwal.
Di kolom Runtime template, pilih runtime.
Di kolom Service account, pilih akun layanan Dataform kustom.
Di kolom Cloud Storage bucket, klik Browse, lalu pilih atau buat bucket Cloud Storage.
Akun layanan Dataform kustom yang dipilih harus diberi peran IAM Storage Admin di bucket yang dipilih. Untuk informasi selengkapnya, lihat Mengaktifkan penjadwalan notebook.
Di bagian Schedule frequency, lakukan tindakan berikut:
- Di drop-down Repeats, pilih frekuensi notebook yang dijadwalkan.
- Di kolom At time, masukkan waktu untuk menjalankan notebook terjadwal.
- Di drop-down Zona waktu, pilih zona waktu untuk jadwal.
Klik Buat jadwal.
Saat Anda membuat jadwal, versi notebook saat ini akan otomatis di-deploy. Untuk memperbarui jadwal dengan versi baru notebook, deploy notebook.
Versi notebook terbaru yang di-deploy berjalan pada waktu dan frekuensi yang dipilih.
Men-deploy notebook
Men-deploy notebook akan memperbarui jadwalnya dengan versi notebook saat ini. Jadwal menjalankan notebook versi terbaru yang di-deploy.
Untuk men-deploy notebook, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Penjelajah, luaskan project Anda dan folder Notebook, dan jika perlu, folder Notebook bersama. Klik nama notebook yang dipilih.
Klik Deploy.
Jadwal yang sesuai akan diperbarui dengan versi notebook saat ini. Versi notebook terbaru yang di-deploy akan berjalan pada waktu yang dijadwalkan.
Menjalankan notebook yang di-deploy secara manual
Saat Anda menjalankan notebook yang di-deploy secara manual dalam jadwal yang dipilih, BigQuery akan mengeksekusi notebook yang di-deploy satu kali, secara independen dari jadwal.
Untuk menjalankan notebook yang di-deploy secara manual, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Orchestration.
Klik nama jadwal notebook yang dipilih.
Di halaman Detail jadwal, klik Jalankan.
Melihat semua jadwal
Untuk melihat semua jadwal notebook dalam project Anda, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Orchestration.
Opsional: Untuk menampilkan kolom tambahan dengan detail jadwal notebook, klik Column display options, lalu pilih kolom dan klik OK.
Melihat detail jadwal
Anda dapat melihat detail jadwal yang dipilih di panel Explorer atau di halaman Orchestration.
Untuk melihat detail jadwal notebook yang dipilih, ikuti langkah-langkah berikut:
Panel Penjelajah
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, luaskan project Anda dan folder Notebooks, dan jika perlu, folder Shared notebooks. Klik nama notebook yang dipilih.
Klik Lihat jadwal.
Halaman Orkestrasi
Di konsol Google Cloud, buka halaman Orchestration.
Klik nama jadwal notebook yang dipilih.
Melihat eksekusi sebelumnya
Anda dapat melihat eksekusi sebelumnya dari jadwal notebook yang dipilih di panel Explorer atau di halaman Orchestration.
Untuk melihat eksekusi sebelumnya dari jadwal notebook yang dipilih, ikuti langkah-langkah berikut:
Panel Penjelajah
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, luaskan project Anda dan folder Notebooks, dan jika perlu, folder Shared notebooks. Klik nama notebook yang dipilih.
Klik Lihat jadwal, lalu klik Lihat eksekusi sebelumnya.
Halaman Orkestrasi
Di konsol Google Cloud, buka halaman Orchestration.
Klik nama jadwal notebook yang dipilih.
Di halaman Detail jadwal, di bagian Eksekusi sebelumnya, periksa eksekusi sebelumnya.
Opsional: Untuk memuat ulang daftar eksekusi sebelumnya, klik Muat ulang.
Menonaktifkan jadwal
Untuk menjeda operasi terjadwal notebook yang dipilih tanpa menghapus jadwal, Anda dapat menonaktifkan jadwal.
Untuk menonaktifkan jadwal untuk notebook yang dipilih, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Penjelajah, luaskan project Anda dan folder Notebook, dan jika perlu, folder Notebook bersama. Klik nama notebook yang dipilih.
Klik Lihat jadwal.
Di tabel detail jadwal, di baris Status jadwal, klik tombol Jadwal diaktifkan.
Mengaktifkan jadwal
Untuk melanjutkan operasi terjadwal dari jadwal yang dinonaktifkan, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Penjelajah, luaskan project Anda dan folder Notebook, dan jika perlu, folder Notebook bersama. Klik nama notebook yang dipilih.
Klik Lihat jadwal.
Di tabel detail jadwal, di baris Status jadwal, klik tombol Jadwal dinonaktifkan.
Mengedit jadwal
Anda dapat mengedit jadwal di panel Explorer atau di halaman Orchestration.
Untuk mengedit jadwal, ikuti langkah-langkah berikut:
Panel Penjelajah
Di konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, luaskan project Anda dan folder Notebooks, dan jika perlu, folder Shared notebooks. Klik nama notebook yang dipilih.
Klik Lihat jadwal, lalu klik Edit.
Di dialog Jadwalkan notebook, edit jadwal, lalu klik Perbarui jadwal.
Halaman Orkestrasi
Di konsol Google Cloud, buka halaman Orchestration.
Klik nama jadwal notebook yang dipilih.
Di halaman Schedule details, klik Edit.
Klik Lihat jadwal, lalu klik Edit.
Dalam dialog Jadwalkan notebook, edit jadwal, lalu klik Perbarui jadwal.
Menghapus jadwal
Untuk menghapus jadwal secara permanen untuk notebook yang dipilih, ikuti langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Orchestration.
Lakukan salah satu hal berikut:
Klik nama jadwal yang dipilih, lalu di halaman Schedule details, klik Delete.
Di baris yang berisi jadwal yang dipilih, klik Lihat tindakan di kolom Tindakan, lalu klik Hapus.
Pada dialog yang muncul, klik Hapus.
Langkah selanjutnya
- Pelajari notebook Colab Enterprise di BigQuery lebih lanjut.
- Pelajari cara membuat notebook.