Setelah membuat cluster, Anda dapat menghentikannya, lalu memulainya kembali saat Anda membutuhkannya. Menghentikan cluster yang tidak aktif akan menghindari timbulnya biaya dan menghindari kebutuhan untuk menghapus cluster yang tidak aktif, lalu membuat cluster dengan konfigurasi yang sama di kemudian hari.
Catatan:
- Fitur mulai dan berhenti cluster tersedia di cluster yang dibuat dengan image yang dirilis pada atau setelah versi image berikut:
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
- Menghentikan masing-masing node cluster tidak direkomendasikan karena status VM yang dihentikan mungkin tidak sinkron dengan status cluster, yang dapat menyebabkan error.
Menghentikan cluster
Menghentikan cluster akan menghentikan semua VM Compute Engine cluster. Anda tidak membayar VM saat VM dihentikan. Namun, Anda tetap membayar resource cluster terkait, seperti persistent disk.
Catatan:
- Menjalankan operasi: Jika cluster memiliki operasi yang sedang berjalan, seperti operasi update atau diagnosis, permintaan penghentian akan gagal.
- Tugas yang sedang berjalan: Jika cluster memiliki tugas yang sedang berjalan, permintaan penghentian akan berhasil: VM akan berhenti, dan tugas yang sedang berjalan akan gagal.
- Respons Berhenti: Saat permintaan berhenti menampilkan operasi berhenti, cluster akan berada dalam status
STOPPING
, dan tidak ada lagi tugas yang dapat dikirimkan (permintaanSubmitJob
akan gagal). - Penskalaan otomatis: Jika Anda menghentikan cluster yang mengaktifkan penskalaan otomatis, autoscaler Dataproc akan berhenti menskalakan cluster. Cluster akan melanjutkan penskalaan setelah dimulai ulang. Jika Anda mengaktifkan autoscaling pada cluster yang dihentikan, kebijakan autoscaling akan berlaku setelah cluster dimulai ulang.
Memantau operasi penghentian
Anda dapat menjalankan
gcloud dataproc operations describe operation-id
untuk memantau operasi penghentian cluster yang berjalan lama. Anda dapat menggunakan perintah
gcloud dataproc clusters describe cluster-name
untuk memantau transisi status cluster dari
RUNNING
ke STOPPING
ke STOPPED
.
Batasan
Anda tidak dapat menghentikan:
- cluster dengan pekerja sekunder
- cluster dengan ssd lokal
Setelah cluster dihentikan, Anda tidak dapat:
- memperbarui cluster
- mengirimkan tugas ke cluster
- mengakses notebook yang berjalan di cluster menggunakan gateway komponen Dataproc
Memulai cluster
Saat Anda memulai ulang kluster yang dihentikan, tindakan inisialisasi tidak akan dijalankan ulang. Tindakan inisialisasi hanya berjalan di node cluster saat cluster dibuat atau saat node ditambahkan ketika cluster di-scale up.
Setelah operasi start selesai, Anda dapat segera mengirimkan tugas ke cluster. Namun, eksekusi tugas dapat tertunda—sekitar 30 detik—untuk memungkinkan HDFS dan YARN beroperasi.
Cara menghentikan dan memulai cluster
Anda dapat menghentikan dan memulai cluster menggunakan Google Cloud konsol, gcloud CLI, atau Dataproc API.
Google Cloud console
Klik nama cluster dari halaman Clusters Dataproc di konsol Google Cloud , lalu klik STOP untuk menghentikan dan START untuk memulai cluster.
gcloud CLI
Menghentikan cluster
gcloud dataproc clusters stop CLUSTER_NAME \ --region=REGION
Mulai cluster
gcloud dataproc clusters start CLUSTER_NAME \ --region=REGION
REST API
Menghentikan cluster
Kirim permintaan clusters.stop.
Mulai cluster
Kirim permintaan clusters.start.