Menghentikan dan memulai cluster Dataproc

Setelah membuat cluster, Anda dapat menghentikannya, lalu memulai ulang cluster tersebut jika diperlukan. Dengan menghentikan cluster yang tidak ada aktivitas, Anda tidak akan dikenai biaya dan tidak perlu menghapus cluster yang tidak ada aktivitas. Setelah itu, Anda dapat membuat cluster dengan konfigurasi yang sama.

Catatan Fitur:

• Fitur mulai/berhenti cluster hanya didukung pada versi image Dataproc berikut atau yang lebih baru:
  • 1.4.35-debian10/ubuntu18
  • 1.5.10-debian10/ubuntu18
  • 2.0.0-RC6-debian10/ubuntu18
• Menghentikan masing-masing node cluster tidak direkomendasikan karena status VM yang dihentikan mungkin tidak sinkron dengan status cluster, yang dapat mengakibatkan error.

Menghentikan cluster

Jika cluster dihentikan, semua VM Compute Engine cluster akan dihentikan. Anda tidak perlu membayar VM ini saat dihentikan. Namun, Anda tetap harus membayar untuk setiap resource cluster terkait, seperti persistent disk.

Catatan:

• Operasi yang berjalan: Jika cluster memiliki operasi yang sedang berjalan (seperti operasi update atau diagnosis), permintaan berhenti akan gagal.
• Tugas yang berjalan: Jika cluster memiliki tugas yang sedang berjalan, permintaan penghentian akan berhasil, VM akan berhenti, dan tugas yang sedang berjalan akan gagal.
• Respons Berhenti: Jika permintaan berhenti menampilkan operasi berhenti kepada pengguna atau pemanggil dalam respons, cluster akan berada dalam status STOPPING, dan tidak ada tugas lebih lanjut yang akan diizinkan untuk dikirim (permintaan SubmitJob akan gagal).
• Penskalaan otomatis: Jika Anda menghentikan cluster yang telah mengaktifkan penskalaan otomatis, Autoscaling Dataproc akan berhenti menskalakan cluster. Tindakan ini akan melanjutkan penskalaan cluster setelah dimulai lagi. Jika Anda mengaktifkan penskalaan otomatis pada cluster yang dihentikan, kebijakan penskalaan otomatis hanya akan berlaku setelah cluster dimulai.

Memantau operasi penghentian

Anda dapat menjalankan gcloud dataproc operations describe operation-id untuk memantau operasi penghentian cluster yang berjalan lama. Anda juga dapat menggunakan perintah gcloud dataproc clusters describe cluster-name untuk memantau transisi status cluster dari RUNNING ke STOPPING ke STOPPED.

Batasan

• Anda tidak dapat menghentikan:

  • cluster dengan pekerja sekunder
  • cluster dengan ssds lokal

• Setelah cluster dihentikan, Anda tidak dapat:

  • perbarui cluster
  • kirim tugas ke cluster
  • mengakses notebook di cluster menggunakan gateway komponen Dataproc

Memulai cluster

• Saat Anda memulai cluster yang dihentikan, tindakan inisialisasi apa pun tidak akan dijalankan ulang. Tindakan inisialisasi hanya dijalankan pada node cluster saat cluster dibuat dan ketika node ditambahkan saat cluster ditingkatkan skalanya.

• Setelah operasi mulai selesai, Anda dapat segera mengirimkan tugas ke cluster. Namun, eksekusi tugas ini dapat ditunda (sekitar 30 detik) agar HDFS dan YARN dapat beroperasi.

Menggunakan Berhenti/Mulai

Anda dapat menghentikan dan memulai cluster menggunakan gcloud CLI atau Dataproc API.

Perintah gcloud

Menghentikan cluster

gcloud dataproc clusters stop cluster-name \
    --region=region

Mulai cluster

gcloud dataproc clusters start cluster-name \
    --region=region

REST API

Menghentikan cluster

Kirim permintaan clusters.stop.

Mulai cluster

Kirim permintaan clusters.start.

Konsol

Klik nama cluster dari halaman Clusters Dataproc di Konsol Google Cloud, lalu klik STOP untuk berhenti dan MULAI untuk memulai cluster.