Menghentikan dan memulai cluster Dataproc

Setelah membuat cluster, Anda dapat menghentikannya, lalu memulainya kembali saat Anda membutuhkannya. Menghentikan cluster yang tidak aktif akan menghindari timbulnya biaya dan menghindari kebutuhan untuk menghapus cluster yang tidak aktif, lalu membuat cluster dengan konfigurasi yang sama di kemudian hari.

Catatan:

  • Fitur mulai dan berhenti cluster tersedia di cluster yang dibuat dengan image yang dirilis pada atau setelah versi image berikut:
    • 1.4.35-debian10/ubuntu18
    • 1.5.10-debian10/ubuntu18
    • 2.0.0-RC6-debian10/ubuntu18
  • Menghentikan masing-masing node cluster tidak direkomendasikan karena status VM yang dihentikan mungkin tidak sinkron dengan status cluster, yang dapat menyebabkan error.

Menghentikan cluster

Menghentikan cluster akan menghentikan semua VM Compute Engine cluster. Anda tidak membayar VM saat VM dihentikan. Namun, Anda tetap membayar resource cluster terkait, seperti persistent disk.

Catatan:

  • Menjalankan operasi: Jika cluster memiliki operasi yang sedang berjalan, seperti operasi update atau diagnosis, permintaan penghentian akan gagal.
  • Tugas yang sedang berjalan: Jika cluster memiliki tugas yang sedang berjalan, permintaan penghentian akan berhasil: VM akan berhenti, dan tugas yang sedang berjalan akan gagal.
  • Respons Berhenti: Saat permintaan berhenti menampilkan operasi berhenti, cluster akan berada dalam status STOPPING, dan tidak ada lagi tugas yang dapat dikirimkan (permintaan SubmitJob akan gagal).
  • Penskalaan otomatis: Jika Anda menghentikan cluster yang mengaktifkan penskalaan otomatis, autoscaler Dataproc akan berhenti menskalakan cluster. Cluster akan melanjutkan penskalaan setelah dimulai ulang. Jika Anda mengaktifkan autoscaling pada cluster yang dihentikan, kebijakan autoscaling akan berlaku setelah cluster dimulai ulang.

Memantau operasi penghentian

Anda dapat menjalankan gcloud dataproc operations describe operation-id untuk memantau operasi penghentian cluster yang berjalan lama. Anda dapat menggunakan perintah gcloud dataproc clusters describe cluster-name untuk memantau transisi status cluster dari RUNNING ke STOPPING ke STOPPED.

Batasan

  • Anda tidak dapat menghentikan:

  • Setelah cluster dihentikan, Anda tidak dapat:

    • memperbarui cluster
    • mengirimkan tugas ke cluster
    • mengakses notebook yang berjalan di cluster menggunakan gateway komponen Dataproc

Memulai cluster

  • Saat Anda memulai ulang kluster yang dihentikan, tindakan inisialisasi tidak akan dijalankan ulang. Tindakan inisialisasi hanya berjalan di node cluster saat cluster dibuat atau saat node ditambahkan ketika cluster di-scale up.

  • Setelah operasi start selesai, Anda dapat segera mengirimkan tugas ke cluster. Namun, eksekusi tugas dapat tertunda—sekitar 30 detik—untuk memungkinkan HDFS dan YARN beroperasi.

Cara menghentikan dan memulai cluster

Anda dapat menghentikan dan memulai cluster menggunakan Google Cloud konsol, gcloud CLI, atau Dataproc API.

Google Cloud console

Klik nama cluster dari halaman Clusters Dataproc di konsol Google Cloud , lalu klik STOP untuk menghentikan dan START untuk memulai cluster.

gcloud CLI

Menghentikan cluster

gcloud dataproc clusters stop CLUSTER_NAME \
    --region=REGION

Mulai cluster

gcloud dataproc clusters start CLUSTER_NAME \
    --region=REGION

REST API

Menghentikan cluster

Kirim permintaan clusters.stop.

Mulai cluster

Kirim permintaan clusters.start.