Menjadwalkan operasi notebook
Halaman ini menunjukkan cara menjadwalkan operasi notebook di Colab Enterprise.
Ringkasan
Anda dapat menjadwalkan notebook untuk segera dijalankan satu kali, atau sesuai jadwal berulang.
Saat menjadwalkan notebook berjalan, Anda memilih template runtime. Colab Enterprise menggunakan template runtime ini untuk membuat runtime yang menjalankan notebook Anda.
Runtime memerlukan izin tertentu untuk menjalankan kode notebook dan mengakses layanan dan API Google Cloud .
Jika konfigurasi template runtime Anda mengaktifkan kredensial pengguna akhir, runtime akan menggunakan izin yang terkait dengan kredensial pengguna Anda.
Jika kredensial pengguna akhir tidak diaktifkan, Anda harus menentukan akun layanan saat menjadwalkan operasi notebook. Colab Enterprise menggunakan kredensial akun layanan ini untuk menjalankan notebook Anda.
Untuk mengetahui informasi selengkapnya, lihat Peran yang diperlukan untuk menjalankan notebook.
Setelah Colab Enterprise menyelesaikan operasi notebook, hasilnya akan disimpan di bucket Cloud Storage yang dapat dibagikan.
Batasan
Runtime Colab Enterprise menggunakan kuota Compute Engine. Lihat halaman Kuota alokasi Compute Engine.
Sebelum memulai
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Vertex AI, Dataform, and Compute Engine APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Vertex AI, Dataform, and Compute Engine APIs.
Peran yang diperlukan untuk menjadwalkan operasi notebook
Untuk memastikan bahwa akun pengguna Anda memiliki izin yang diperlukan untuk menjadwalkan notebook yang dijalankan di Colab Enterprise, minta administrator untuk memberi akun pengguna Anda peran IAM berikut di project:
-
Pengguna Colab Enterprise (
roles/aiplatform.colabEnterpriseUser
) -
Storage Admin (
roles/storage.admin
)
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun pengguna Anda melalui peran khusus atau peran bawaan lainnya.
Peran yang diperlukan untuk menjalankan notebook
Akun utama yang menjalankan notebook memerlukan izin tertentu. Akun utama adalah akun pengguna atau akun layanan yang Anda tentukan, seperti yang dijelaskan dalam ringkasan.
Untuk memastikan akun utama memiliki izin yang diperlukan untuk menjalankan notebook di Colab Enterprise, minta administrator Anda untuk memberikan peran IAM berikut kepada akun utama:
-
Code Viewer (
roles/dataform.codeViewer
) di notebook -
Logs Writer (
roles/logging.logWriter
) di project -
Monitoring Metric Writer (
roles/monitoring.metricWriter
) di project -
Storage Legacy Bucket Writer (
roles/storage.legacyBucketWriter
) di notebook -
Storage Legacy Object Reader (
roles/storage.legacyObjectReader
) di bucket output
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk menjalankan notebook di Colab Enterprise. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:
Izin yang diperlukan
Izin berikut diperlukan untuk menjalankan notebook di Colab Enterprise:
-
dataform.locations.list
di notebook -
dataform.repositories.computeAccessTokenStatus
di notebook -
dataform.repositories.fetchHistory
di notebook -
dataform.repositories.fetchRemoteBranches
di notebook -
dataform.repositories.get
di notebook -
dataform.repositories.getIamPolicy
di notebook -
dataform.repositories.list
di notebook -
dataform.repositories.queryDirectoryContents
di notebook -
dataform.repositories.readFile
di notebook -
logging.logEntries.create
pada project -
logging.logEntries.route
pada project -
monitoring.metricDescriptors.create
pada project -
monitoring.metricDescriptors.get
pada project -
monitoring.metricDescriptors.list
pada project -
monitoring.monitoredResourceDescriptors.get
pada project -
monitoring.monitoredResourceDescriptors.list
pada project -
monitoring.timeSeries.create
pada project -
resourcemanager.projects.get
pada project -
resourcemanager.projects.list
pada project -
storage.buckets.get
di notebook -
storage.managedFolders.create
di notebook -
storage.managedFolders.delete
di notebook -
storage.managedFolders.get
di notebook -
storage.managedFolders.list
di notebook -
storage.multipartUploads.abort
di notebook -
storage.multipartUploads.create
di notebook -
storage.multipartUploads.list
di notebook -
storage.multipartUploads.listParts
di notebook -
storage.objects.create
di notebook -
storage.objects.delete
di notebook -
storage.objects.get
di notebook -
storage.objects.list
di notebook -
storage.objects.restore
di notebook -
storage.objects.setRetention
di notebook
Administrator Anda mungkin juga dapat memberi akun utama izin ini dengan peran khusus atau peran bawaan lainnya.
Menjalankan notebook sekali
Untuk menjalankan notebook satu kali, Anda dapat menggunakan konsol Google Cloud, Google Cloud CLI, atau library klien Python Vertex AI.
Konsol
-
Di Konsol Google Cloud, buka halaman Notebooks Colab Enterprise.
-
Di menu Region, pilih region yang berisi notebook Anda.
-
Di samping notebook, klik menu
Tindakan notebook, lalu pilih Jadwalkan. -
Di kolom Schedule name, masukkan nama untuk jadwal Anda.
-
Klik daftar Runtime template, lalu pilih template runtime. Template runtime menentukan spesifikasi runtime yang menjalankan notebook Anda.
-
Di bagian Run schedule, pilih One-off untuk menjalankan notebook segera setelah Anda mengirimkan operasi notebook.
-
Di samping kolom Cloud Storage output location, klik Browse untuk membuka dialog Select folder.
-
Pilih bucket Cloud Storage. Atau, untuk membuat bucket, klik Buat bucket baru dan selesaikan dialog.
-
Jika Anda memilih template runtime tanpa mengaktifkan kredensial pengguna akhir, dialog akan menyertakan kolom Akun layanan. Di kolom Service account, masukkan alamat email akun layanan.
-
Klik Kirim.
Proses notebook akan segera dimulai.
gcloud
Sebelum menggunakan salah satu data perintah di bawah, lakukan penggantian berikut:
DISPLAY_NAME
: nama tampilan untuk operasi notebook Anda.NOTEBOOK_RUNTIME_TEMPLATE
: template runtime notebook yang menentukan konfigurasi komputasi runtime Anda.NOTEBOOK_URI
: URI Cloud Storage dari notebook yang akan dijalankan.OUTPUT_URI
: lokasi Cloud Storage tempat Anda ingin menyimpan hasil.USER_EMAIL
: alamat email akun pengguna yang menentukan akses eksekusi notebook ke resource Google Cloud .PROJECT_ID
: project ID Anda.REGION
: region tempat notebook Anda akan berjalan.
Jalankan perintah berikut:
Linux, macOS, atau Cloud Shell
gcloud colab executions create --display-name="DISPLAY_NAME" \ --notebook-runtime-template=NOTEBOOK_RUNTIME_TEMPLATE \ --gcs-notebook-uri=NOTEBOOK_URI \ --gcs-output-uri=OUTPUT_URI \ --user-email=USER_EMAIL \ --project=PROJECT_ID \ --region=REGION
Windows (PowerShell)
gcloud colab executions create --display-name="DISPLAY_NAME" ` --notebook-runtime-template=NOTEBOOK_RUNTIME_TEMPLATE ` --gcs-notebook-uri=NOTEBOOK_URI ` --gcs-output-uri=OUTPUT_URI ` --user-email=USER_EMAIL ` --project=PROJECT_ID ` --region=REGION
Windows (cmd.exe)
gcloud colab executions create --display-name="DISPLAY_NAME" ^ --notebook-runtime-template=NOTEBOOK_RUNTIME_TEMPLATE ^ --gcs-notebook-uri=NOTEBOOK_URI ^ --gcs-output-uri=OUTPUT_URI ^ --user-email=USER_EMAIL ^ --project=PROJECT_ID ^ --region=REGION
Untuk mengetahui informasi selengkapnya tentang cara mengelola notebook Colab Enterprise yang dijalankan dari command line, lihat dokumentasi gcloud CLI.
Python
Sebelum mencoba contoh ini, instal Vertex AI SDK untuk Python. Library klien Python Vertex AI diinstal saat Anda menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Vertex AI SDK untuk Python.
from google.cloud import aiplatform_v1beta1 PROJECT_ID = "my-project" LOCATION = "us-central1" API_ENDPOINT = f"{LOCATION}-aiplatform.googleapis.com" PARENT = f"projects/{PROJECT_ID}/locations/{LOCATION}" notebook_service_client = aiplatform_v1beta1.NotebookServiceClient(client_options = { "api_endpoint": API_ENDPOINT, }) operation = notebook_service_client.create_notebook_execution_job(parent=PARENT, notebook_execution_job={ "display_name": "my-execution-job", # Specify a NotebookRuntimeTemplate to source compute configuration from "notebook_runtime_template_resource_name": f"projects/{PROJECT_ID}/locations/{LOCATION}/notebookRuntimeTemplates/{template_id}", # Specify a Colab Enterprise notebook to run "dataformRepositorySource": { "dataformRepositoryResourceName": f"projects/{PROJECT_ID}/locations/{LOCATION}/repositories/{repository_id}", }, # Specify a Cloud Storage bucket to store output artifacts "gcs_output_uri": "gs://my-bucket/, # Specify the identity that runs the notebook "execution_user": {EMAIL}, # Run as the service account instead # "service_account": "my-service-account", }) print("Waiting for operation to complete...") result = operation.result()
Anda dapat melihat hasil dari notebook yang telah selesai dijalankan di tab Tugas eksekusi.
Menjadwalkan operasi notebook
Untuk menjadwalkan operasi notebook, Anda dapat menggunakan konsol Google Cloud, gcloud CLI, atau library klien Vertex AI Python.
Konsol
-
Di Konsol Google Cloud, buka halaman Notebooks Colab Enterprise.
-
Di menu Region, pilih region yang berisi notebook Anda.
-
Di samping notebook, klik menu
Tindakan notebook, lalu pilih Jadwalkan. -
Di kolom Schedule name, masukkan nama untuk jadwal Anda.
-
Klik daftar Runtime template, lalu pilih template runtime. Template runtime menentukan spesifikasi runtime yang menjalankan notebook Anda.
-
Di bagian Run schedule, pilih Recurring untuk menjadwalkan notebook berjalan selama interval waktu tertentu.
-
Selesaikan dialog penjadwalan.
-
Di samping kolom Cloud Storage output location, klik Browse untuk membuka dialog Select folder.
-
Pilih bucket Cloud Storage. Atau, untuk membuat bucket, klik Buat bucket baru dan selesaikan dialog.
-
Jika Anda memilih template runtime tanpa mengaktifkan kredensial pengguna akhir, dialog akan menyertakan kolom Akun layanan. Di kolom Service account, masukkan alamat email akun layanan.
-
Klik Kirim.
Operasi notebook terjadwal dimulai secara otomatis sesuai jadwal yang Anda tetapkan.
gcloud
Sebelum menggunakan salah satu data perintah di bawah, lakukan penggantian berikut:
DISPLAY_NAME
: nama tampilan jadwal Anda.CRON_SCHEDULE
: jadwal yang Anda tetapkan, dalam format unix-cron. Misalnya,00 19 * * MON
berarti setiap minggu pada hari Senin, pada pukul 19.00 Waktu Greenwich (GMT).NOTEBOOK_RUN_NAME
: nama tampilan untuk operasi notebook yang dihasilkan oleh jadwal ini.NOTEBOOK_RUNTIME_TEMPLATE
: template runtime notebook yang menentukan konfigurasi komputasi runtime Anda.NOTEBOOK_URI
: URI Cloud Storage dari notebook yang akan dijalankan.OUTPUT_URI
: lokasi Cloud Storage tempat Anda ingin menyimpan hasil.USER_EMAIL
: alamat email akun pengguna yang menentukan akses eksekusi notebook ke resource Google Cloud .PROJECT_ID
: project ID Anda.REGION
: region tempat jadwal Anda akan berjalan.
Jalankan perintah berikut:
Linux, macOS, atau Cloud Shell
gcloud colab schedules create --display-name="DISPLAY_NAME" \ --cron-schedule=CRON_SCHEDULE \ --execution-display-name=NOTEBOOK_RUN_NAME \ --notebook-runtime-template=NOTEBOOK_RUNTIME_TEMPLATE \ --gcs-notebook-uri=NOTEBOOK_URI \ --gcs-output-uri=OUTPUT_URI \ --user-email=USER_EMAIL \ --project=PROJECT_ID \ --region=REGION
Windows (PowerShell)
gcloud colab schedules create --display-name="DISPLAY_NAME" ` --cron-schedule=CRON_SCHEDULE ` --execution-display-name=NOTEBOOK_RUN_NAME ` --notebook-runtime-template=NOTEBOOK_RUNTIME_TEMPLATE ` --gcs-notebook-uri=NOTEBOOK_URI ` --gcs-output-uri=OUTPUT_URI ` --user-email=USER_EMAIL ` --project=PROJECT_ID ` --region=REGION
Windows (cmd.exe)
gcloud colab schedules create --display-name="DISPLAY_NAME" ^ --cron-schedule=CRON_SCHEDULE ^ --execution-display-name=NOTEBOOK_RUN_NAME ^ --notebook-runtime-template=NOTEBOOK_RUNTIME_TEMPLATE ^ --gcs-notebook-uri=NOTEBOOK_URI ^ --gcs-output-uri=OUTPUT_URI ^ --user-email=USER_EMAIL ^ --project=PROJECT_ID ^ --region=REGION
Untuk mengetahui informasi selengkapnya tentang cara membuat jadwal notebook Colab Enterprise dari command line, lihat dokumentasi gcloud CLI.
Python
Sebelum mencoba contoh ini, instal Vertex AI SDK untuk Python. Library klien Python Vertex AI diinstal saat Anda menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Vertex AI SDK untuk Python.
from google.cloud import aiplatform_v1beta1 PROJECT_ID = "my-project" LOCATION = "us-central1" API_ENDPOINT = f"{LOCATION}-aiplatform.googleapis.com" PARENT = f"projects/{PROJECT_ID}/locations/{LOCATION}" schedules_service_client = aiplatform_v1beta1.ScheduleServiceClient(client_options = { "api_endpoint": API_ENDPOINT, }) schedule = schedules_service_client.create_schedule(parent=PARENT, schedule={ "display_name": "my-notebook-schedule", # Time specification. TZ is optional. # cron = "* * * * *" to run it in the next minute. "cron": "TZ=America/Los_Angeles * * * * *", # How many runs the schedule will trigger before it becomes COMPLETED. # A Schedule in COMPLETED state will not trigger any more runs. "max_run_count": 1, "max_concurrent_run_count": 1, "create_notebook_execution_job_request": { "parent": PARENT, "notebook_execution_job": { "display_name": "my-execution-job", # Specify a NotebookRuntimeTemplate to source compute configuration from "notebook_runtime_template_resource_name": f"projects/{PROJECT_ID}/locations/{LOCATION}/notebookRuntimeTemplates/{template_id}", # Specify a Colab Enterprise notebook to run "dataformRepositorySource": { "dataformRepositoryResourceName": f"projects/{PROJECT_ID}/locations/{LOCATION}/repositories/{repository_id}", }, # Specify a Cloud Storage bucket to store output artifacts "gcs_output_uri": "gs://my-bucket/, # Specify the identity that runs the notebook "execution_user": {EMAIL}, # Run as the service account instead # "service_account": "my-service-account", } } })
Di konsol Google Cloud, Anda dapat melihat jadwal di tab Schedules. Anda dapat melihat hasil dari notebook yang telah selesai dijalankan di tab Tugas eksekusi.
Lihat hasil
Untuk melihat hasil operasi notebook, Anda dapat menggunakan konsol Google Cloud, gcloud CLI, atau library klien Vertex AI Python.
Konsol
-
Di konsol Google Cloud, buka halaman Execution jobs Colab Enterprise.
-
Di samping notebook yang dijalankan dan hasil yang ingin Anda lihat, klik View result.
Panel hanya baca akan terbuka yang menampilkan hasil dari notebook yang dijalankan.
-
Untuk menutup panel, klik Tutup.
gcloud
Sebelum menggunakan salah satu data perintah di bawah, lakukan penggantian berikut:
PROJECT_ID
: project ID Anda.REGION
: region tempat hasil operasi notebook Anda berada.SCHEDULE_NAME
: nama jadwal untuk melihat hasilnya. Untuk melihat hasil dari semua jadwal, hapus tanda--filter
.
Jalankan perintah berikut:
Linux, macOS, atau Cloud Shell
gcloud colab executions list --project=PROJECT_ID \ --region=REGION \ --filter="scheduleResourceName:SCHEDULE_NAME"
Windows (PowerShell)
gcloud colab executions list --project=PROJECT_ID ` --region=REGION ` --filter="scheduleResourceName:SCHEDULE_NAME"
Windows (cmd.exe)
gcloud colab executions list --project=PROJECT_ID ^ --region=REGION ^ --filter="scheduleResourceName:SCHEDULE_NAME"
Untuk mengetahui informasi selengkapnya tentang cara mencantumkan notebook Colab Enterprise yang dijalankan dari command line, lihat dokumentasi gcloud CLI.
Python
Sebelum mencoba contoh ini, instal Vertex AI SDK untuk Python. Library klien Python Vertex AI diinstal saat Anda menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi API Vertex AI SDK untuk Python.
from google.cloud import aiplatform_v1beta1 PROJECT_ID = "my-project" LOCATION = "us-central1" API_ENDPOINT = f"{LOCATION}-aiplatform.googleapis.com" PARENT = f"projects/{PROJECT_ID}/locations/{LOCATION}" notebook_service_client = aiplatform_v1beta1.NotebookServiceClient(client_options = { "api_endpoint": API_ENDPOINT, }) notebook_execution_jobs = notebook_service_client.list_notebook_execution_jobs(parent=PARENT) notebook_execution_jobs
Menghapus hasil
Untuk menghapus hasil dari salah satu operasi notebook, Anda dapat menggunakan Konsol Google Cloud atau gcloud CLI.
Konsol
-
Di konsol Google Cloud, buka halaman Execution jobs Colab Enterprise.
-
Pilih operasi notebook yang ingin Anda hapus hasilnya.
-
Klik
Delete. -
Untuk mengonfirmasi penghapusan, klik Konfirmasi.
gcloud
Sebelum menggunakan salah satu data perintah di bawah, lakukan penggantian berikut:
NOTEBOOK_RUN_ID
: ID operasi notebook yang ingin Anda hapus.PROJECT_ID
: project ID Anda.REGION
: region tempat notebook Anda dijalankan.
Jalankan perintah berikut:
Linux, macOS, atau Cloud Shell
gcloud colab executions delete NOTEBOOK_RUN_ID \ --project=PROJECT_ID \ --region=REGION
Windows (PowerShell)
gcloud colab executions delete NOTEBOOK_RUN_ID ` --project=PROJECT_ID ` --region=REGION
Windows (cmd.exe)
gcloud colab executions delete NOTEBOOK_RUN_ID ^ --project=PROJECT_ID ^ --region=REGION
Untuk mengetahui informasi selengkapnya tentang cara menghapus notebook Colab Enterprise yang dijalankan dari command line, lihat dokumentasi gcloud CLI.
Membagikan hasil operasi notebook
Anda dapat membagikan hasil operasi notebook dengan memberikan akses ke bucket Cloud Storage yang berisi operasi notebook Anda. Dengan menyediakan akses ini, pengguna juga akan memiliki akses ke resource lain di bucket Cloud Storage yang sama (lihat Pertimbangan keamanan).
Untuk mengetahui informasi selengkapnya, lihat halaman Berbagi dan kolaborasi Cloud Storage.
Pertimbangan keamanan
Hasil operasi notebook Anda disimpan sebagai file notebook (IPYNB) di bucket Cloud Storage. Pertimbangkan hal berikut saat Anda memberikan akses ke bucket ini:
Siapa pun yang memiliki akses ke bucket dapat melihat kode file notebook dan hasil notebook yang dijalankan.
Siapa saja yang memiliki kemampuan untuk mengubah konten bucket dapat mengubah konten file notebook.
Jika jadwal Anda dikonfigurasi untuk menggunakan kredensial pribadi, hanya pengguna yang ditentukan yang dapat mengubah jadwal atau memicu jadwal.
Jika jadwal Anda dikonfigurasi untuk menggunakan akun layanan, hanya pengguna dengan
izin iam.serviceAccounts.actAs
di akun layanan yang dapat mengubah
jadwal atau memicu jadwal.
Melihat detail jadwal
Anda dapat melihat informasi tentang jadwal, termasuk:
- Bucket Cloud Storage tempat jadwal menyimpan hasil.
- Waktu mulai dan berakhir.
- Frekuensi.
Untuk melihat detail jadwal, Anda dapat menggunakan konsol Google Cloud atau gcloud CLI.
Konsol
-
Di konsol Google Cloud, buka halaman Jadwal Colab Enterprise.
-
Klik nama jadwal.
Halaman Schedule details akan terbuka.
-
Untuk kembali ke halaman Jadwal, klik
Kembali ke halaman sebelumnya.
gcloud
Sebelum menggunakan salah satu data perintah di bawah, lakukan penggantian berikut:
SCHEDULE
: ID jadwal Anda.PROJECT_ID
: project ID Anda.REGION
: region tempat jadwal Anda berada.
Jalankan perintah berikut:
Linux, macOS, atau Cloud Shell
gcloud colab schedules describe SCHEDULE \ --project=PROJECT_ID \ --region=REGION
Windows (PowerShell)
gcloud colab schedules describe SCHEDULE ` --project=PROJECT_ID ` --region=REGION
Windows (cmd.exe)
gcloud colab schedules describe SCHEDULE ^ --project=PROJECT_ID ^ --region=REGION
Untuk mengetahui informasi selengkapnya tentang cara melihat jadwal Colab Enterprise dari command line, lihat dokumentasi gcloud CLI.
Menjeda, melanjutkan, atau menghapus jadwal
Untuk menjeda, melanjutkan, atau menghapus jadwal, Anda dapat menggunakan konsol Google Cloud atau gcloud CLI.
Konsol
-
Di konsol Google Cloud, buka halaman Jadwal Colab Enterprise.
-
Pilih jadwal.
-
Klik
Jeda, Lanjutkan, atau Hapus.
gcloud
Sebelum menggunakan salah satu data perintah di bawah, lakukan penggantian berikut:
ACTION
: salah satu daripause
,resume
, ataudelete
.SCHEDULE_ID
: ID jadwal Anda.PROJECT_ID
: project ID Anda.REGION
: region tempat jadwal Anda berada.
Jalankan perintah berikut:
Linux, macOS, atau Cloud Shell
gcloud colab schedules ACTION SCHEDULE_ID \ --project=PROJECT_ID \ --region=REGION
Windows (PowerShell)
gcloud colab schedules ACTION SCHEDULE_ID ` --project=PROJECT_ID ` --region=REGION
Windows (cmd.exe)
gcloud colab schedules ACTION SCHEDULE_ID ^ --project=PROJECT_ID ^ --region=REGION
Untuk mengetahui informasi selengkapnya tentang cara mengelola jadwal Colab Enterprise dari command line, lihat dokumentasi gcloud CLI.
Langkah selanjutnya
Pelajari lebih lanjut runtime dan template runtime.
Pelajari cara membuat template runtime.
Pelajari lebih lanjut cara mengakses layanan dan API Google Cloud di notebook Anda.