Penghapusan Terjadwal Cluster

Untuk membantu menghindari timbulnya biaya Google Cloud untuk cluster yang tidak aktif, gunakan fitur Penghapusan Terjadwal Cluster Dataproc saat membuat cluster. Fitur ini menyediakan opsi untuk menghapus cluster:

setelah periode tidak ada aktivitas cluster yang ditentukan
pada waktu mendatang yang ditentukan
setelah periode tertentu yang dimulai sejak waktu pengiriman permintaan pembuatan cluster

Pembatasan:

Anda tidak dapat mengubah cluster ke cluster penghapusan terjadwal. Namun, Anda dapat memperbarui cluster penghapusan terjadwal untuk menghapus nilai penghapusan terjadwal yang ditetapkan sebelumnya.
Tindakan berikut menonaktifkan penghapusan cluster terjadwal. Jika melakukan salah satu tindakan ini, Anda harus mengembalikan tindakan tersebut untuk mengaktifkan kembali penghapusan terjadwal cluster.
- Menghapus binding IAM "Identitas bidang kontrol" pada peran Dataproc Service Agent
- Menonaktifkan Dataproc API saat cluster penghapusan terjadwal berjalan
- Mengaktifkan perlindungan penghapusan VM Compute Engine pada VM cluster penghapusan terjadwal apa pun
- Mengaktifkan Kontrol Layanan VPC jika "Identitas bidang kontrol" tidak berada dalam batas perimeter

Menggunakan Penghapusan Terjadwal Cluster

Catatan: Properti cluster dataproc:dataproc.cluster-ttl.consider-yarn-activity ditetapkan ke true secara default untuk gambar versi 1.4.64+, 1.5.39+, dan 2.0.13+. Dengan setelan ini, dengan cluster yang dibuat dengan versi gambar ini, Penghapusan Terjadwal Cluster secara default akan mempertimbangkan aktivitas YARN, selain aktivitas Dataproc Jobs API, saat menentukan waktu tidak ada aktivitas cluster . Setelan ini tidak memengaruhi cluster dengan gambar dengan nomor versi yang lebih rendah: waktu tidak ada aktivitas cluster untuk cluster tersebut akan terus dihitung berdasarkan aktivitas Dataproc Jobs API saja. Jika menggunakan image versi 1.4.64+, 1.5.39+, dan 2.0.13+, Anda dapat memilih untuk tidak menerapkan perilaku default ini dengan menyetel properti ini ke false saat membuat cluster.

Perintah gcloud

Anda dapat membuat cluster dengan fitur Penghapusan Terjadwal Cluster dengan meneruskan tanda penghapusan terjadwal berikut ke perintah gcloud dataproc cluster create.

Tanda	Deskripsi	Perincian Terbaik	Nilai Min	Nilai Maks
`--max-idle`¹	Durasi dari saat cluster memasuki status tidak ada aktivitas hingga saat cluster mulai dihapus. Berikan durasi dalam format `IntegerUnit`, dengan unit dapat berupa "s, m, h, d" (detik, menit, jam, hari, masing-masing). Contoh: "30 mnt" atau "1 hari" (30 menit atau 1 hari sejak cluster tidak ada aktivitas).	1 detik	5 menit	14 hari
`--expiration-time`²	Waktu untuk mulai menghapus cluster dalam format tanggal waktu ISO 8601. Cara mudah untuk menghasilkan tanggal dan waktu dalam format yang benar adalah melalui Generator Stempel Waktu. Misalnya, "2017-08-22T13:31:48-08:00" menentukan waktu habis masa berlaku 13:21:48 dalam zona waktu UTC -8:00.	1 detik	10 menit dari waktu saat ini	14 hari dari waktu saat ini
`--max-age`²	Durasi dari saat mengirimkan permintaan pembuatan cluster hingga saat cluster mulai dihapus. Berikan durasi dalam format `IntegerUnit`, dengan unit dapat berupa "s, m, h, d" (detik, menit, jam, hari, masing-masing). Contoh: "30 mnt" (30 menit dari sekarang); "1 hari" (1 hari dari sekarang).	1 detik	10 menit	14 hari

¹ Anda dapat meneruskan flag --max-idle dengan flag --expiration-time atau --max-age dalam permintaan pembuatan cluster. Kode pertama yang menjadi true (benar) akan berlaku untuk mematikan cluster.
² Anda dapat meneruskan flag --expiration-time atau flag --max-age ke perintah pembuatan cluster, tetapi tidak keduanya.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --max-idle=duration \
    --expiration-time=time \
    ... other flags ...

Anda dapat mengupdate cluster yang dibuat dengan fitur penghapusan terjadwal untuk mengubah atau menghapus setelan penghapusan terjadwal dengan meneruskan tanda penghapusan terjadwal berikut ke perintah gcloud dataproc cluster update (tanda update cluster lainnya tidak dapat digabungkan dengan tanda penghapusan terjadwal).

Tanda	Deskripsi	Perincian Terbaik	Nilai Min	Nilai Maks
`--max-idle`¹	Durasi dari saat cluster memasuki status tidak ada aktivitas hingga saat cluster mulai dihapus. Berikan durasi dalam format `IntegerUnit`, dengan unit dapat berupa "s, m, h, d" (detik, menit, jam, hari, masing-masing). Contoh: "30 mnt" atau "1 hari" (30 menit atau 1 hari sejak cluster tidak ada aktivitas).	1 detik	5 menit	14 hari
`--no-max-idle`	Membatalkan penghapusan otomatis cluster berdasarkan durasi tidak ada aktivitas cluster yang sebelumnya disetel oleh tanda tidak ada aktivitas maksimum	tidak berlaku	tidak berlaku	tidak berlaku
`--expiration-time`²	Waktu untuk mulai menghapus cluster dalam format tanggal waktu ISO 8601. Cara mudah untuk menghasilkan tanggal dan waktu dalam format yang benar adalah melalui Pembuat Stempel Waktu. Misalnya, "2017-08-22T13:31:48-08:00" menentukan waktu habis masa berlaku 13:21:48 dalam zona waktu UTC -8:00.	1 detik	10 menit dari waktu saat ini, dan waktu baru tidak boleh lebih awal dari waktu yang ditetapkan sebelumnya.	14 hari dari waktu saat ini
`--max-age`²	Durasi dari saat permintaan update cluster dikirim hingga cluster mulai dihapus. Berikan durasi dalam format `IntegerUnit`, dengan unit dapat berupa "s, m, h, d" (detik, menit, jam, hari, masing-masing). Contoh: "30 mnt" (30 menit dari sekarang); "1 hari" (1 hari dari sekarang).	1 detik	10 menit, dan waktu penghapusan terjadwal yang diperbarui (waktu update + durasi usia maksimal baru) tidak boleh lebih awal dari waktu penghapusan cluster yang ditetapkan sebelumnya.	14 hari
`--no-max-age`	Membatalkan penghapusan otomatis cluster berdasarkan usia cluster maksimum yang sebelumnya ditetapkan oleh tanda usia maksimum atau waktu habis masa berlaku	tidak berlaku	tidak berlaku	tidak berlaku

¹ Anda dapat meneruskan flag --max-idle dengan flag --expiration-time atau --max-age dalam permintaan update cluster. Kode pertama yang menjadi true (benar) akan berlaku untuk mematikan cluster.
² Anda dapat meneruskan flag --expiration-time atau flag --max-age ke perintah update cluster, tetapi tidak keduanya.

gcloud dataproc clusters update cluster-name \
    --region=region \
    --max-idle=duration \
    --no-max-age \
    ... other flags

REST API

Anda dapat membuat cluster dengan fitur Penghapusan Terjadwal Cluster dengan menetapkan kolom ClusterLifecycleConfig berikut di permintaan API cluster.create atau cluster.patch.

Tanda	Deskripsi	Perincian Terbaik	Nilai Min	Nilai Maks
`idleDeleteTtl`¹	Durasi dari saat cluster memasuki status tidak ada aktivitas hingga saat cluster mulai dihapus. Berikan durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".	1 detik	5 menit sejak membuat atau memperbarui cluster. Saat mengupdate cluster, nilai baru harus lebih besar dari nilai yang ditetapkan sebelumnya. Kirim permintaan cluster.patch dengan durasi kosong untuk membatalkan nilai `idleDeleteTtl` yang ditetapkan sebelumnya.	14 hari
`autoDeleteTime`²	Waktunya mulai menghapus cluster. Berikan stempel waktu dalam format RFC 3339 UTC "Zulu", akurat hingga nanodetik. Contoh: "2014-10-02T15:01:23.045123456Z".	1 detik	10 menit dari waktu saat ini. Saat mengupdate cluster, waktu baru harus lebih lambat dari waktu yang ditetapkan sebelumnya.	14 hari dari waktu saat ini
`autoDeleteTtl`²	Durasi dari saat permintaan pembuatan atau pembaruan cluster dikirim hingga saat cluster mulai dihapus. Berikan durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".	1 detik	10 menit. Saat memperbarui cluster, waktu penghapusan terjadwal yang baru (waktu update + durasi usia maksimal baru) harus lebih lambat dari waktu penghapusan cluster yang ditetapkan sebelumnya. Kirim permintaan cluster.patch dengan durasi kosong untuk membatalkan nilai `autoDeleteTtl` yang ditetapkan sebelumnya.	14 hari

¹ Anda dapat menetapkan idleDeleteTtl dan autoDeleteTime atau autoDeleteTtl di permintaan pembuatan cluster Anda. Kode pertama yang menjadi true (benar) akan berlaku untuk mematikan cluster.
² Anda dapat menetapkan autoDeleteTime atau autoDeleteTtl di permintaan pembuatan cluster Anda, tetapi tidak keduanya.

Konsol

Buka halaman Buat cluster Dataproc, lalu pilih panel Sesuaikan cluster. Scroll ke bawah ke bagian Penghapusan terjadwal, lalu pilih opsi yang akan diterapkan ke cluster Anda.

Melihat setelan cluster Penghapusan Terjadwal

Perintah gcloud

Anda dapat menggunakan perintah gcloud dataproc clusters list untuk mengonfirmasi bahwa cluster telah mengaktifkan penghapusan terjadwal.

 gcloud dataproc clusters list \
     --region=region

...
NAME         WORKER_COUNT ... SCHEDULED_DELETE
cluster-id   number       ... enabled
...

Anda dapat menggunakan perintah gcloud dataproc clusters describe untuk memeriksa setelan penghapusan terjadwal LifecycleConfig cluster.

gcloud dataproc clusters describe cluster-name \
    --region=region

...
lifecycleConfig:
  autoDeleteTime: '2018-11-28T19:33:48.146Z'
  idleDeleteTtl: 1800s
  idleStartTime: '2018-11-28T18:33:48.146Z'
...

autoDeleteTime dan idleDeleteTtl adalah nilai konfigurasi penghapusan terjadwal yang sebelumnya ditetapkan oleh pengguna di cluster. Dataproc menghasilkan nilai idleStartTime, yang merupakan waktu mulai tidak ada aktivitas cluster terbaru. Dataproc akan menghapus cluster jika cluster tetap tidak ada aktivitas pada idleStartTime + idleDeleteTtl.

REST API

Anda dapat membuat permintaan clusters.list untuk mengonfirmasi bahwa cluster telah mengaktifkan penghapusan terjadwal.

Konsol

Anda dapat melihat setelan penghapusan terjadwal cluster dengan memilih nama cluster dari halaman Cluster Dataproc di Konsol Google Cloud. Dari halaman detail cluster, pilih tab KONFIGURASI. Scroll ke bawah daftar konfigurasi cluster untuk melihat setelan penghapusan terjadwal.