Menjalankan instance notebook terkelola di dalam cluster Dataproc

Menjalankan instance notebook terkelola di dalam cluster Dataproc

Notebook terkelola Vertex AI Workbench tidak digunakan lagi. Pada 30 Januari 2025, dukungan untuk notebook terkelola akan berakhir dan kemampuan untuk membuat instance notebook terkelola akan dihapus. Instance yang ada akan tetap berfungsi, tetapi patch, update, dan upgrade tidak akan tersedia. Untuk terus menggunakan Vertex AI Workbench, sebaiknya migrasikan instance notebook terkelola ke instance Vertex AI Workbench.

Halaman ini menunjukkan cara menjalankan file notebook instance notebook terkelola di cluster Dataproc.

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Notebooks and Dataproc APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Notebooks and Dataproc APIs.

   Enable the APIs

8. Buat instance notebook terkelola, jika Anda belum membuatnya.

Peran yang diperlukan

Untuk memastikan bahwa akun layanan memiliki izin yang diperlukan untuk menjalankan file notebook di cluster Dataproc Serverless, minta administrator Anda untuk memberikan akun layanan peran IAM berikut:

• Dataproc Worker (roles/dataproc.worker) di project Anda
• Dataproc Editor (roles/dataproc.editor) di cluster untuk izin dataproc.clusters.use

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk menjalankan file notebook di cluster Dataproc Serverless. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menjalankan file notebook di cluster Dataproc Serverless:

• dataproc.agents.create
• dataproc.agents.delete
• dataproc.agents.get
• dataproc.agents.update
• dataproc.tasks.lease
• dataproc.tasks.listInvalidatedLeases
• dataproc.tasks.reportStatus
• dataproc.clusters.use

Administrator Anda mungkin juga dapat memberikan izin ini kepada akun layanan dengan peran khusus atau peran bawaan lainnya.

Membuat cluster Dataproc

Untuk menjalankan file notebook instance notebook terkelola di cluster Dataproc, cluster Anda harus memenuhi kriteria berikut:

• Gateway komponen cluster harus diaktifkan.

• Cluster harus memiliki komponen Jupyter.

• Cluster harus berada di region yang sama dengan instance notebook terkelola Anda.

Untuk membuat cluster Dataproc, masukkan perintah berikut di Cloud Shell atau lingkungan lain tempat Google Cloud CLI diinstal.

gcloud dataproc clusters create CLUSTER_NAME\
    --region=REGION \
    --enable-component-gateway \
    --optional-components=JUPYTER

Ganti kode berikut:

• REGION: lokasi Google Cloud dari instance notebook terkelola Anda

• CLUSTER_NAME: nama cluster baru.

Setelah beberapa menit, cluster Dataproc Anda tersedia untuk digunakan. Pelajari lebih lanjut cara membuat cluster Dataproc.

Membuka JupyterLab

1. Jika Anda belum melakukannya, buat instance notebook terkelola di region yang sama tempat cluster Dataproc Anda berada.

2. Di konsol Google Cloud, buka halaman Notebook terkelola.

   Buka Notebook terkelola

3. Di samping nama instance notebook terkelola, klik Buka JupyterLab.

Menjalankan file notebook di cluster Dataproc Anda

Anda dapat menjalankan file notebook di cluster Dataproc dari instance notebook terkelola mana pun dalam project dan region yang sama.

Menjalankan file notebook baru

1. Di antarmuka JupyterLab instance notebook terkelola Anda, pilih File > Baru > Notebook.

2. Kernel yang tersedia pada cluster Dataproc Anda akan muncul di menu Pilih kernel. Pilih kernel yang ingin Anda gunakan, lalu klik Pilih.

   File notebook baru akan terbuka.

3. Tambahkan kode ke file notebook baru, dan jalankan kodenya.

Untuk mengubah kernel yang ingin digunakan setelah membuat file notebook, lihat bagian berikut.

Menjalankan file notebook yang ada

1. Di antarmuka JupyterLab instance notebook terkelola Anda, klik tombol  File Browser, pilih file notebook yang ingin dijalankan, lalu buka.

2. Untuk membuka dialog Pilih kernel, klik nama kernel file notebook Anda, misalnya: Python (Lokal).

3. Untuk memilih kernel dari cluster Dataproc, pilih nama kernel yang menyertakan nama cluster Anda di bagian akhir. Misalnya, kernel PySpark di cluster Dataproc bernama mycluster diberi nama PySpark di mycluster.

4. Klik Pilih untuk menutup dialog.

   Sekarang Anda dapat menjalankan kode file notebook di cluster Dataproc.

Langkah berikutnya

• Pelajari Dataproc lebih lanjut.