Tujuan
Tutorial ini menunjukkan cara menginstal komponen Jupyter Dataproc di cluster baru, lalu terhubung ke UI notebook Jupyter yang berjalan di cluster dari browser lokal Anda menggunakan Gateway Komponen Dataproc.
Biaya
Dalam dokumen ini, Anda akan menggunakan komponen Google Cloud yang dapat ditagih berikut: Google Cloud:
Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda,
gunakan kalkulator harga.
Sebelum memulai
Jika Anda belum melakukannya, buat project Google Cloud dan bucket Cloud Storage.
Menyiapkan project
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Dataproc, Compute Engine, and Cloud Storage APIs.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init -
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Dataproc, Compute Engine, and Cloud Storage APIs.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
Membuat bucket Cloud Storage di project Anda untuk menyimpan notebook yang Anda buat dalam tutorial ini.
- In the Google Cloud console, go to the Cloud Storage Buckets page.
- Click Create bucket.
- On the Create a bucket page, enter your bucket information. To go to the next
step, click Continue.
- For Name your bucket, enter a name that meets the bucket naming requirements.
-
For Choose where to store your data, do the following:
- Select a Location type option.
- Select a Location option.
- For Choose a default storage class for your data, select a storage class.
- For Choose how to control access to objects, select an Access control option.
- For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
- Click Create. Notebook Anda akan disimpan di Cloud Storage di bagian
gs://bucket-name/notebooks/jupyter.
Membuat cluster dan menginstal komponen Jupyter
Buat cluster dengan komponen Jupyter yang diinstal.
Membuka UI Jupyter dan JupyterLab
Klik link Component Gateway konsol Google Cloud di konsol Google Cloud untuk membuka notebook Jupyter atau UI JupyterLab yang berjalan di node master cluster Anda.
Direktori tingkat teratas yang ditampilkan oleh instance Jupyter adalah direktori virtual yang memungkinkan Anda melihat konten bucket Cloud Storage atau sistem file lokal. Anda dapat memilih salah satu lokasi dengan mengklik link GCS untuk Cloud Storage atau Local Disk untuk sistem file lokal node master di cluster Anda.
- Klik link GCS. UI web notebook Jupyter menampilkan
notebook yang disimpan di bucket Cloud Storage, termasuk
notebook yang Anda buat dalam tutorial ini.
Pembersihan
Setelah menyelesaikan tutorial, Anda dapat membersihkan resource yang dibuat agar resource tersebut berhenti menggunakan kuota dan dikenai biaya. Bagian berikut menjelaskan cara menghapus atau menonaktifkan resource ini.
Menghapus project
Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.
Untuk menghapus project:
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Menghapus cluster
- Untuk menghapus cluster:
gcloud dataproc clusters delete cluster-name \ --region=${REGION}
Menghapus bucket
- Untuk menghapus bucket Cloud Storage yang Anda buat di bagian Sebelum memulai, langkah 2, termasuk notebook yang disimpan di bucket:
gcloud storage rm gs://${BUCKET_NAME} --recursive