Penghapusan Terjadwal Cluster

Untuk membantu menghindari tagihan Google Cloud untuk cluster yang tidak aktif, gunakan fitur Penghapusan Terjadwal Cluster Dataproc saat Anda membuat cluster. Fitur ini menyediakan opsi untuk menghapus cluster:

• setelah periode nonaktif cluster yang ditentukan
• pada waktu mendatang yang ditentukan
• setelah periode tertentu yang dimulai dari waktu pengiriman permintaan pembuatan cluster

Catatan: Tugas yang berjalan di cluster saat cluster dihapus akan gagal.

Penghitungan waktu nonaktif cluster

dataproc:dataproc.cluster-ttl.consider-yarn-activity Properti cluster memengaruhi penghitungan waktu tidak ada aktivitas cluster, sebagai berikut:

• Properti ini diaktifkan (ditetapkan ke true) secara default.
• Jika properti ini diaktifkan, aktivitas YARN dan Dataproc Jobs API harus tidak ada aktivitas untuk memulai dan terus menambahkan penghitungan waktu tidak ada aktivitas cluster.
  • Aktivitas YARN mencakup aplikasi YARN yang tertunda dan berjalan.
  • Aktivitas Dataproc Jobs API mencakup tugas yang tertunda dan berjalan yang dikirim ke Dataproc Jobs API.
• Jika properti ini ditetapkan ke false, aktivitas Dataproc Jobs API hanya boleh tidak ada aktivitas untuk memulai dan terus menambahkan penghitungan waktu tidak ada aktivitas cluster.

Catatan: Properti ini hanya berlaku untuk cluster yang dibuat dengan versi image yang dirilis pada atau setelah 1.4.64, 1.5.39, dan 2.0.13. Untuk cluster yang dibuat dengan versi image sebelumnya, aktivitas Dataproc Jobs API saja yang dipertimbangkan dalam menghitung waktu tidak ada aktivitas cluster.

Batasan:

• Anda tidak dapat mengubah cluster menjadi cluster penghapusan terjadwal. Namun, Anda dapat memperbarui cluster penghapusan terjadwal untuk menghapus nilai penghapusan terjadwal yang ditetapkan sebelumnya.
• Tindakan berikut menonaktifkan penghapusan terjadwal cluster. Jika melakukan salah satu tindakan ini, Anda harus mengembalikan tindakan tersebut untuk mengaktifkan kembali penghapusan terjadwal cluster.
  • Menghapus binding IAM dari "Control plane identity" pada peran Dataproc Service Agent
  • Menonaktifkan Dataproc API saat cluster penghapusan terjadwal sedang berjalan
  • Mengaktifkan perlindungan penghapusan VM Compute Engine di salah satu VM cluster penghapusan terjadwal
  • Mengaktifkan Kontrol Layanan VPC jika "Identitas platform kontrol" tidak berada dalam batas perimeter

Menggunakan Penghapusan Terjadwal Cluster

Perintah gcloud

Anda dapat membuat cluster dengan fitur Penghapusan Terjadwal Cluster dengan meneruskan flag penghapusan terjadwal berikut ke perintah gcloud dataproc clusters create.

Flag	Deskripsi	Perincian Terbaik	Nilai Min	Nilai Maks
--max-idle^1	Durasi dari saat cluster memasuki status tidak ada aktivitas hingga saat cluster mulai dihapus. Berikan durasi dalam format IntegerUnit, dengan unit yang dapat berupa "s, m, h, d" (masing-masing detik, menit, jam, hari). Contoh: "30m" atau "1d" (30 menit atau 1 hari sejak cluster menjadi tidak ada aktivitas).	1 detik	5 menit	14 hari
--expiration-time^2	Waktu untuk mulai menghapus cluster dalam format tanggal & waktu ISO 8601. Cara mudah untuk membuat tanggal dan waktu dalam format yang benar adalah melalui Timestamp Generator. Misalnya, "2017-08-22T13:31:48-08:00" menentukan waktu habis masa berlaku 13:21:48 di zona waktu UTC -8:00.	1 detik	10 menit dari waktu saat ini	14 hari dari waktu saat ini
--max-age^2	Durasi dari saat mengirimkan permintaan pembuatan cluster hingga saat cluster mulai dihapus. Berikan durasi dalam format IntegerUnit, dengan unit yang dapat berupa "s, m, h, d" (masing-masing detik, menit, jam, hari). Contoh: "30m" (30 menit dari sekarang); "1d" (1 hari dari sekarang).	1 detik	10 menit	14 hari

¹ Anda dapat meneruskan flag --max-idle dengan flag --expiration-time atau --max-age dalam permintaan pembuatan cluster. Yang pertama menjadi benar akan diterapkan untuk menonaktifkan cluster.
² Anda dapat meneruskan flag --expiration-time atau flag --max-age ke perintah pembuatan cluster, tetapi tidak keduanya.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --max-idle=duration \
    --expiration-time=time \
    ... other flags ...

Anda dapat mengupdate cluster yang dibuat dengan fitur penghapusan terjadwal untuk mengubah atau menghapus setelan penghapusan terjadwal dengan meneruskan flag penghapusan terjadwal berikut ke perintah gcloud dataproc clusters update (flag update cluster lainnya tidak dapat digabungkan dengan flag penghapusan terjadwal).

Flag	Deskripsi	Perincian Terbaik	Nilai Min	Nilai Maks
--max-idle^1	Durasi dari saat cluster memasuki status tidak ada aktivitas hingga saat cluster mulai dihapus. Berikan durasi dalam format IntegerUnit, dengan unit yang dapat berupa "s, m, h, d" (masing-masing detik, menit, jam, hari). Contoh: "30m" atau "1d" (30 menit atau 1 hari sejak cluster menjadi tidak ada aktivitas).	1 detik	5 menit	14 hari
--no-max-idle	Membatalkan penghapusan otomatis cluster berdasarkan durasi tidak ada aktivitas cluster yang sebelumnya ditetapkan oleh flag max-idle	tidak berlaku	tidak berlaku	tidak berlaku
--expiration-time^2	Waktu untuk mulai menghapus cluster dalam format tanggal & waktu ISO 8601. Cara mudah untuk membuat tanggal dan waktu dalam format yang benar adalah melalui Generator Stempel Waktu. Misalnya, "2017-08-22T13:31:48-08:00" menentukan waktu habis masa berlaku 13:21:48 di zona waktu UTC -8:00.	1 detik	10 menit dari waktu saat ini, dan waktu baru tidak boleh lebih awal dari waktu yang ditetapkan sebelumnya.	14 hari dari waktu saat ini
--max-age^2	Durasi sejak saat mengirimkan permintaan pembaruan cluster hingga saat cluster mulai dihapus. Berikan durasi dalam format IntegerUnit, dengan unit yang dapat berupa "s, m, h, d" (masing-masing detik, menit, jam, hari). Contoh: "30m" (30 menit dari sekarang); "1d" (1 hari dari sekarang).	1 detik	10 menit, dan waktu penghapusan terjadwal yang diperbarui (waktu pembaruan + durasi masa berlaku baru) tidak boleh lebih awal dari waktu penghapusan cluster yang ditetapkan sebelumnya.	14 hari
--no-max-age	Membatalkan penghapusan otomatis cluster berdasarkan usia cluster maksimum yang sebelumnya ditetapkan oleh tanda max-age atau expiration-time	tidak berlaku	tidak berlaku	tidak berlaku

¹ Anda dapat meneruskan flag --max-idle dengan flag --expiration-time atau --max-age dalam permintaan update cluster. Yang pertama menjadi benar akan diterapkan untuk menonaktifkan cluster.
² Anda dapat meneruskan tanda --expiration-time atau tanda --max-age ke perintah update cluster, tetapi tidak keduanya.

gcloud dataproc clusters update cluster-name \
    --region=region \
    --max-idle=duration \
    --no-max-age \
    ... other flags

REST API

Anda dapat membuat cluster dengan fitur Penghapusan Terjadwal Cluster dengan menetapkan kolom ClusterLifecycleConfig berikut dalam permintaan API cluster.create atau cluster.patch.

Flag	Deskripsi	Perincian Terbaik	Nilai Min	Nilai Maks
idleDeleteTtl^1	Durasi dari saat cluster memasuki status tidak ada aktivitas hingga saat cluster mulai dihapus. Berikan durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 'd'. Contoh: "3,5 detik".	1 detik	5 menit sejak pembuatan atau pembaruan cluster. Saat memperbarui cluster, nilai baru harus lebih besar dari nilai yang ditetapkan sebelumnya. Kirim permintaan cluster.patch dengan durasi kosong untuk membatalkan nilai idleDeleteTtl yang ditetapkan sebelumnya.	14 hari
autoDeleteTime^2	Waktu untuk mulai menghapus cluster. Berikan stempel waktu dalam format "Zulu" UTC RFC 3339, akurat hingga nanodetik. Contoh: "2014-10-02T15:01:23.045123456Z".	1 detik	10 menit dari waktu saat ini. Saat memperbarui cluster, waktu baru harus lebih lambat dari waktu yang ditetapkan sebelumnya.	14 hari dari waktu saat ini
autoDeleteTtl^2	Durasi dari saat mengirimkan permintaan pembuatan atau pembaruan cluster hingga saat cluster mulai dihapus. Berikan durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 'd'. Contoh: "3,5 detik".	1 detik	10 menit. Saat mengupdate cluster, waktu penghapusan terjadwal baru (waktu update + durasi masa berlaku maksimum baru) harus lebih lambat dari waktu penghapusan cluster yang ditetapkan sebelumnya. Kirim permintaan cluster.patch dengan durasi kosong untuk membatalkan nilai autoDeleteTtl yang ditetapkan sebelumnya.	14 hari

¹ Anda dapat menetapkan idleDeleteTtl dan autoDeleteTime atau autoDeleteTtl dalam permintaan pembuatan cluster. Yang pertama menjadi benar akan diterapkan untuk menonaktifkan cluster.
² Anda dapat menetapkan autoDeleteTime atau autoDeleteTtl dalam permintaan pembuatan cluster, tetapi tidak keduanya.

Konsol

• Buka halaman Create a cluster Dataproc, lalu pilih panel Customize cluster. Scroll ke bawah ke bagian Penghapusan terjadwal, lalu pilih opsi yang akan diterapkan ke cluster Anda.

Melihat setelan cluster Penghapusan Terjadwal

Perintah gcloud

Anda dapat menggunakan perintah gcloud dataproc clusters list untuk mengonfirmasi bahwa cluster telah mengaktifkan penghapusan terjadwal.

 gcloud dataproc clusters list \
     --region=region

...
NAME         WORKER_COUNT ... SCHEDULED_DELETE
cluster-id   number       ... enabled
...

Anda dapat menggunakan perintah gcloud dataproc clusters describe untuk memeriksa setelan penghapusan terjadwal LifecycleConfig cluster.

gcloud dataproc clusters describe cluster-name \
    --region=region

...
lifecycleConfig:
  autoDeleteTime: '2018-11-28T19:33:48.146Z'
  idleDeleteTtl: 1800s
  idleStartTime: '2018-11-28T18:33:48.146Z'
...

autoDeleteTime dan idleDeleteTtl adalah nilai konfigurasi penghapusan terjadwal yang sebelumnya ditetapkan oleh pengguna di cluster. Dataproc menghasilkan nilai idleStartTime, yang merupakan waktu mulai tidak ada aktivitas cluster terbaru. Dataproc akan menghapus cluster jika cluster tetap tidak aktif pada idleStartTime + idleDeleteTtl.

REST API

Anda dapat membuat permintaan clusters.list untuk mengonfirmasi bahwa cluster telah mengaktifkan penghapusan terjadwal.

Konsol

Anda dapat melihat setelan penghapusan terjadwal cluster dengan memilih nama cluster dari halaman Cluster Dataproc di konsol Google Cloud. Dari halaman detail cluster, pilih tab KONFIGURASI. Scroll ke bawah daftar konfigurasi cluster untuk melihat setelan penghapusan terjadwal.