Tujuan
Tutorial ini menunjukkan cara menginstal komponen Jupyter dan Anaconda Dataproc pada cluster baru, lalu menghubungkan ke UI notebook Jupyter yang berjalan di cluster dari browser lokal menggunakan Gateway Komponen Dataproc.
Biaya
Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:
Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda,
gunakan kalkulator harga.
Sebelum memulai
Jika belum melakukannya, buat project Google Cloud Platform dan bucket Cloud Storage.
Menyiapkan project
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Make sure that billing is enabled for your Google Cloud project.
-
Aktifkan API Dataproc, Compute Engine, and Cloud Storage.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init -
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Make sure that billing is enabled for your Google Cloud project.
-
Aktifkan API Dataproc, Compute Engine, and Cloud Storage.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
Membuat bucket Cloud Storage di project Anda untuk menyimpan notebook apa pun yang Anda buat dalam tutorial ini.
- Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.
- Klik Buat bucket.
- Di halaman Buat bucket, masukkan informasi bucket Anda. Untuk melanjutkan ke
langkah berikutnya, klik Lanjutkan.
- Untuk Beri nama bucket, masukkan nama yang memenuhi persyaratan penamaan bucket.
-
Untuk Pilih tempat untuk menyimpan data, lakukan tindakan berikut:
- Pilih opsi Jenis lokasi.
- Pilih opsi Lokasi.
- Untuk Memilih kelas penyimpanan default untuk data Anda, pilih kelas penyimpanan.
- Untuk Memilih cara mengontrol akses ke objek, pilih opsi Kontrol akses.
- Untuk Setelan lanjutan (opsional), tentukan metode enkripsi, kebijakan retensi, atau label bucket.
- Klik Buat. Notebook Anda akan disimpan di Cloud Storage di bagian
gs://bucket-name/notebooks/jupyter.
Buat cluster dan instal komponen Jupyter
Buat cluster dengan komponen Jupyter yang terinstal.
Buka UI Jupyter dan JupyterLab
Klik link Gateway Komponen Google Cloud Console di Konsol Google Cloud untuk membuka notebook Jupyter atau UI JupyterLab yang berjalan di node master cluster Anda.
Direktori tingkat atas yang ditampilkan oleh instance Jupyter adalah direktori virtual yang memungkinkan Anda melihat isi bucket Cloud Storage atau sistem file lokal. Anda dapat memilih salah satu lokasi dengan mengklik link GCS untuk Cloud Storage atau Disk Lokal untuk sistem file lokal node master di cluster Anda.
- Klik link GCS. UI web notebook Jupyter menampilkan notebook yang disimpan di bucket Cloud Storage, termasuk notebook apa pun yang Anda buat dalam tutorial ini.
Pembersihan
Setelah menyelesaikan tutorial, Anda dapat membersihkan resource yang dibuat agar resource tersebut berhenti menggunakan kuota dan dikenai biaya. Bagian berikut menjelaskan cara menghapus atau menonaktifkan resource ini.
Menghapus project
Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.
Untuk menghapus project:
- Di konsol Google Cloud, buka halaman Manage resource.
- Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
- Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.
Menghapus cluster
- Untuk menghapus cluster:
gcloud dataproc clusters delete cluster-name \ --region=${REGION}
Menghapus bucket
- Untuk menghapus bucket Cloud Storage yang Anda buat di Sebelum memulai, langkah 2, termasuk notebook yang disimpan di bucket:
gsutil -m rm -r gs://${BUCKET_NAME}