Tujuan
Tutorial ini menunjukkan cara menginstal komponen Jupyter dan Anaconda Dataproc pada cluster baru, lalu menghubungkan ke UI notebook Jupyter yang berjalan di cluster dari browser lokal menggunakan Gateway Komponen Dataproc.
Biaya
Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:
Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda,
gunakan kalkulator harga.
Sebelum memulai
Jika belum melakukannya, buat project Google Cloud Platform dan bucket Cloud Storage.
Menyiapkan project
- Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Enable the Dataproc, Compute Engine, and Cloud Storage APIs.
- Menginstal Google Cloud CLI.
-
Untuk initialize gcloud CLI, jalankan perintah berikut:
gcloud init
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
-
Enable the Dataproc, Compute Engine, and Cloud Storage APIs.
- Menginstal Google Cloud CLI.
-
Untuk initialize gcloud CLI, jalankan perintah berikut:
gcloud init
Membuat bucket Cloud Storage di project Anda untuk menyimpan notebook apa pun yang Anda buat dalam tutorial ini.
- Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.
- Klik Buat bucket.
- Di halaman Buat bucket, masukkan informasi bucket Anda. Untuk melanjutkan ke
langkah berikutnya, klik Lanjutkan.
- Untuk Beri nama bucket, masukkan nama yang memenuhi persyaratan penamaan bucket.
-
Untuk Pilih tempat untuk menyimpan data, lakukan tindakan berikut:
- Pilih opsi Jenis lokasi.
- Pilih opsi Lokasi.
- Untuk Memilih kelas penyimpanan default untuk data Anda, pilih kelas penyimpanan.
- Untuk Memilih cara mengontrol akses ke objek, pilih opsi Kontrol akses.
- Untuk Setelan lanjutan (opsional), tentukan metode enkripsi, kebijakan retensi, atau label bucket.
- Klik Buat. Notebook Anda akan disimpan di Cloud Storage di bagian
gs://bucket-name/notebooks/jupyter.
Buat cluster dan instal komponen Jupyter
Buat cluster dengan komponen Jupyter yang terinstal.
Buka UI Jupyter dan JupyterLab
Klik link Gateway Komponen Google Cloud Console di Konsol Google Cloud untuk membuka notebook Jupyter atau UI JupyterLab yang berjalan di node master cluster Anda.
Direktori tingkat atas yang ditampilkan oleh instance Jupyter adalah direktori virtual yang memungkinkan Anda melihat isi bucket Cloud Storage atau sistem file lokal. Anda dapat memilih salah satu lokasi dengan mengklik link GCS untuk Cloud Storage atau Disk Lokal untuk sistem file lokal node master di cluster Anda.
- Klik link GCS. UI web notebook Jupyter menampilkan notebook yang disimpan di bucket Cloud Storage, termasuk notebook apa pun yang Anda buat dalam tutorial ini.
Pembersihan
Setelah menyelesaikan tutorial, Anda dapat membersihkan resource yang dibuat agar resource tersebut berhenti menggunakan kuota dan dikenai biaya. Bagian berikut menjelaskan cara menghapus atau menonaktifkan resource ini.
Menghapus project
Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.
Untuk menghapus project:
- Di konsol Google Cloud, buka halaman Manage resource.
- Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
- Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.
Menghapus cluster
- Untuk menghapus cluster:
gcloud dataproc clusters delete cluster-name \ --region=${REGION}
Menghapus bucket
- Untuk menghapus bucket Cloud Storage yang Anda buat di Sebelum memulai, langkah 2, termasuk notebook yang disimpan di bucket:
gsutil -m rm -r gs://${BUCKET_NAME}