Menghentikan dan memulai cluster Dataproc

Setelah membuat cluster, Anda dapat menghentikannya, lalu memulai ulang saat diperlukan. Menghentikan cluster yang tidak ada aktivitasnya akan menghindari timbulnya biaya dan menghindari kebutuhan untuk menghapus cluster yang tidak ada aktivitasnya, lalu membuat cluster dengan konfigurasi yang sama nanti.

Catatan Fitur:

  • Fitur mulai/berhenti cluster hanya didukung dengan versi gambar Dataproc berikut atau yang lebih baru:
    • 1.4.35-debian10/ubuntu18
    • 1.5.10-debian10/ubuntu18
    • 2.0.0-RC6-debian10/ubuntu18
  • Menghentikan setiap node cluster tidak direkomendasikan karena status VM yang dihentikan mungkin tidak sinkron dengan status cluster, yang dapat menyebabkan error.

Menghentikan cluster

Menghentikan cluster akan menghentikan semua VM Compute Engine cluster. Anda tidak membayar VM ini saat dihentikan. Namun, Anda akan terus membayar resource cluster terkait, seperti persistent disk.

Catatan:

  • Menjalankan operasi: Jika cluster memiliki operasi yang sedang berjalan (seperti operasi update atau diagnosis), permintaan penghentian akan gagal.
  • Tugas yang sedang berjalan: Jika cluster memiliki tugas yang sedang berjalan, permintaan berhenti akan berhasil, VM akan berhenti, dan tugas yang sedang berjalan akan gagal.
  • Respons Hentikan: Saat permintaan hentikan menampilkan operasi hentikan kepada pengguna atau pemanggil dalam respons, cluster akan berada dalam status STOPPING, dan tidak ada tugas lebih lanjut yang diizinkan untuk dikirim (permintaan SubmitJob akan gagal).
  • Penskalaan otomatis: Jika Anda menghentikan cluster yang telah mengaktifkan penskalaan otomatis, autoscaler Dataproc akan berhenti menskalakan cluster. Cluster akan melanjutkan penskalaan setelah dimulai lagi. Jika Anda mengaktifkan penskalaan otomatis di cluster yang dihentikan, kebijakan penskalaan otomatis hanya akan berlaku setelah cluster dimulai.

Memantau operasi berhenti

Anda dapat menjalankan gcloud dataproc operations describe operation-id untuk memantau operasi penghentian cluster yang berjalan lama. Anda juga dapat menggunakan perintah gcloud dataproc clusters describe cluster-name untuk memantau transisi status cluster dari RUNNING ke STOPPING ke STOPPED.

Batasan

  • Anda tidak dapat menghentikan:

  • Setelah cluster dihentikan, Anda tidak dapat:

Memulai cluster

  • Saat Anda memulai cluster yang dihentikan, tindakan inisialisasi apa pun tidak akan dijalankan ulang. Tindakan inisialisasi hanya dijalankan di node cluster saat cluster dibuat dan saat node ditambahkan saat cluster diskalakan.

  • Setelah operasi mulai selesai, Anda dapat langsung mengirimkan tugas ke cluster. Namun, eksekusi tugas ini dapat tertunda (sekitar 30 detik) untuk memungkinkan HDFS dan YARN beroperasi.

Menggunakan Berhenti/Mulai

Anda dapat menghentikan dan memulai cluster menggunakan gcloud CLI atau Dataproc API.

perintah gcloud

Menghentikan cluster

gcloud dataproc clusters stop cluster-name \
    --region=region

Memulai cluster

gcloud dataproc clusters start cluster-name \
    --region=region

REST API

Menghentikan cluster

Kirim permintaan clusters.stop.

Memulai cluster

Kirim permintaan clusters.start.

Konsol

Klik nama cluster dari halaman Clusters Dataproc di konsol Google Cloud, lalu klik STOP untuk menghentikan dan START untuk memulai cluster.