Menjalankan instance notebook terkelola di dalam cluster Dataproc
Halaman ini menunjukkan cara menjalankan file notebook instance notebook terkelola di cluster Dataproc.
Sebelum memulai
- Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Aktifkan API Notebooks and Dataproc.
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Aktifkan API Notebooks and Dataproc.
- Buat instance notebook terkelola, jika Anda belum membuatnya.
Peran yang diperlukan
Untuk memastikan akun layanan memiliki izin yang diperlukan untuk menjalankan file notebook di cluster Dataproc Serverless, minta administrator Anda untuk memberikan peran IAM berikut ke akun layanan:
-
Dataproc Worker (
roles/dataproc.worker
) di project Anda -
Dataproc Editor (
roles/dataproc.editor
) di cluster untuk izindataproc.clusters.use
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.
Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk menjalankan file notebook di cluster Dataproc Serverless. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:
Izin yang diperlukan
Izin berikut diperlukan untuk menjalankan file notebook di cluster Dataproc Serverless:
-
dataproc.agents.create
-
dataproc.agents.delete
-
dataproc.agents.get
-
dataproc.agents.update
-
dataproc.tasks.lease
-
dataproc.tasks.listInvalidatedLeases
-
dataproc.tasks.reportStatus
-
dataproc.clusters.use
Administrator mungkin juga dapat memberi akun layanan izin ini dengan peran khusus atau peran yang telah ditetapkan sebelumnya.
Membuat cluster Dataproc
Untuk menjalankan file notebook instance notebook terkelola di cluster Dataproc, cluster Anda harus memenuhi kriteria berikut:
Gateway komponen cluster harus diaktifkan.
Cluster harus memiliki komponen Jupyter.
Cluster harus berada di region yang sama dengan instance notebook terkelola Anda.
Untuk membuat cluster Dataproc, masukkan perintah berikut di Cloud Shell atau lingkungan lain tempat Google Cloud CLI diinstal.
gcloud dataproc clusters create CLUSTER_NAME\ --region=REGION \ --enable-component-gateway \ --optional-components=JUPYTER
Ganti kode berikut:
REGION
: lokasi Google Cloud dari instance notebook terkelola AndaCLUSTER_NAME
: nama cluster baru.
Setelah beberapa menit, cluster Dataproc Anda tersedia untuk digunakan. Pelajari lebih lanjut cara membuat cluster Dataproc.
Membuka JupyterLab
Jika Anda belum melakukannya, buat instance notebook terkelola di region yang sama tempat cluster Dataproc Anda berada.
Di konsol Google Cloud, buka halaman Notebook terkelola.
Di samping nama instance notebook terkelola, klik Buka JupyterLab.
Menjalankan file notebook di cluster Dataproc Anda
Anda dapat menjalankan file notebook di cluster Dataproc dari instance notebook terkelola mana pun dalam project dan region yang sama.
Menjalankan file notebook baru
Di antarmuka JupyterLab instance notebook terkelola Anda, pilih File > Baru > Notebook.
Kernel yang tersedia pada cluster Dataproc Anda akan muncul di menu Pilih kernel. Pilih kernel yang ingin Anda gunakan, lalu klik Pilih.
File notebook baru akan terbuka.
Tambahkan kode ke file notebook baru, dan jalankan kodenya.
Untuk mengubah kernel yang ingin digunakan setelah membuat file notebook, lihat bagian berikut.
Menjalankan file notebook yang ada
Di antarmuka JupyterLab instance notebook terkelola Anda, klik tombol
File Browser, pilih file notebook yang ingin dijalankan, lalu buka.Untuk membuka dialog Pilih kernel, klik nama kernel file notebook Anda, misalnya: Python (Lokal).
Untuk memilih kernel dari cluster Dataproc, pilih nama kernel yang menyertakan nama cluster Anda di bagian akhir. Misalnya, kernel PySpark di cluster Dataproc bernama
mycluster
diberi nama PySpark di mycluster.Klik Pilih untuk menutup dialog.
Sekarang Anda dapat menjalankan kode file notebook di cluster Dataproc.
Langkah selanjutnya
- Pelajari Dataproc lebih lanjut.