Strategi upgrade node

Halaman ini membahas strategi upgrade node yang dapat Anda gunakan dengan cluster Google Kubernetes Engine (GKE).

Di cluster GKE Standard, Anda dapat mengonfigurasi salah satu strategi upgrade node berikut untuk setiap node pool:

Upgrade lonjakan: Node diupgrade dalam satu jendela bergulir. Anda dapat mengontrol jumlah node yang dapat diupgrade sekaligus dan seberapa mengganggu upgrade pada workload.
Upgrade blue-green: Node yang sudah ada akan tetap tersedia untuk di-roll back saat beban kerja divalidasi pada konfigurasi node baru.

Dalam cluster Autopilot, GKE menggunakan upgrade lonjakan. Untuk mempelajari lebih lanjut, lihat bagian Upgrade Surge di halaman Autopilot upgrade.

Dengan memilih strategi upgrade untuk kumpulan node cluster Standar, Anda dapat memilih proses dengan keseimbangan yang tepat antara kecepatan, gangguan workload, mitigasi risiko, dan pengoptimalan biaya. Untuk mempelajari lebih lanjut strategi upgrade node yang tepat untuk lingkungan Anda, lihat Memilih upgrade lonjakan dan Memilih upgrade biru-hijau.

Dengan kedua strategi tersebut, Anda dapat mengonfigurasi setelan upgrade untuk mengoptimalkan proses berdasarkan kebutuhan lingkungan. Untuk mempelajari lebih lanjut, lihat Mengonfigurasi strategi upgrade yang Anda pilih. Pastikan untuk strategi yang dipilih, Anda memiliki kuota yang cukup, ketersediaan resource, atau kapasitas reservasi untuk mengupgrade node menggunakan strategi tersebut. Untuk mengetahui informasi selengkapnya, lihat Memastikan resource untuk upgrade node.

Upgrade lonjakan

Upgrade lonjakan adalah strategi upgrade default, dan paling cocok untuk aplikasi yang dapat menangani perubahan inkremental. Upgrade lonjakan menggunakan metode bergulir untuk mengupgrade node, dalam urutan yang tidak ditentukan. Temukan keseimbangan optimal antara kecepatan dan gangguan untuk lingkungan Anda dengan memilih jumlah node lonjakan baru yang dapat dibuat, dengan maxSurge, dan jumlah node yang ada yang dapat terganggu sekaligus, dengan maxUnavailable.

Upgrade Surge juga dapat digunakan dengan penskala otomatis cluster untuk mencegah perubahan pada node yang sedang diupgrade.

Pilih upgrade lonjakan untuk lingkungan Anda

Jika pengoptimalan biaya penting bagi Anda dan workload dapat menoleransi penonaktifan dalam waktu kurang dari 60 menit, sebaiknya pilih upgrade lonjakan untuk node pool Anda.

Upgrade Surge sudah optimal untuk skenario berikut:

jika ingin mengoptimalkan kecepatan upgrade.
jika workload lebih toleran terhadap gangguan, dengan penghentian halus hingga 60 menit dapat diterima.
jika Anda ingin mengontrol biaya dengan meminimalkan pembuatan node baru.

Kapan GKE menggunakan upgrade lonjakan

Jika diaktifkan, GKE akan menggunakan upgrade lonjakan saat jenis perubahan berikut terjadi:

Perubahan versi (upgrade)
Menskalakan node secara vertikal dengan mengubah atribut mesin node, termasuk jenis mesin, jenis disk, dan ukuran disk
Perubahan jenis gambar
Rotasi IP
Rotasi kredensial
Pembuatan kebijakan jaringan
Mengaktifkan streaming gambar
Pembaruan konfigurasi performa jaringan
Mengaktifkan gVNIC
Perubahan konfigurasi sistem
Node rahasia

Perubahan lainnya, termasuk menerapkan update pada label node dan taint node yang ada, tidak menggunakan upgrade lonjakan karena tidak memerlukan pembuatan ulang node.

Memahami setelan upgrade lonjakan

Gunakan setelan upgrade lonjakan untuk memilih keseimbangan yang sesuai antara kecepatan dan gangguan untuk kumpulan node Anda selama pemeliharaan cluster menggunakan setelan lonjakan. Anda dapat mengubah jumlah node yang dicoba diupgrade sekaligus dengan cara mengubah parameter upgrade lonjakan pada kumpulan node Standar.

Perilaku upgrade lonjakan ditentukan oleh setelan maxSurge dan maxUnavailable, yang menentukan jumlah node yang diupgrade secara bersamaan di jendela roll dengan langkah-langkah yang dijelaskan.

`maxSurge`: GKE membuat node lonjakan baru sebelum menghapus node yang sudah ada

Setel maxSurge untuk memilih jumlah maksimum node lonjakan tambahan yang dapat ditambahkan ke kumpulan node selama upgrade, per zona, sehingga meningkatkan kemungkinan bahwa beban kerja yang berjalan pada node yang ada dapat segera bermigrasi ke node baru. Defaultnya adalah satu. Untuk mengupgrade satu node, GKE melakukan langkah-langkah berikut:

Menyediakan node baru.
Tunggu hingga node baru siap.
Cordon node yang ada.
Drain node yang ada, dengan mematuhi setelan PodDisruptionBudget dan GracefulTerminationPeriod hingga satu jam.
Hapus node yang ada.

Agar GKE dapat membuat node lonjakan, project Anda harus memiliki resource untuk membuat node tambahan untuk sementara. Jika Anda tidak memiliki kapasitas tambahan, GKE tidak akan memulai upgrade node hingga resource tersedia. Untuk mempelajari lebih lanjut, lihat Referensi untuk upgrade lonjakan.

`maxUnavailable`: GKE membuat node yang sudah ada tidak tersedia untuk membuatnya ulang

Tetapkan maxUnavailable untuk memilih jumlah maksimum node yang dapat secara bersamaan tidak tersedia selama upgrade, per zona. Nilai defaultnya adalah nol. Workload yang berjalan pada node yang ada mungkin perlu menunggu hingga node yang ada diupgrade, jika tidak ada node lain yang memiliki kapasitas. Untuk mengupgrade satu node, GKE melakukan langkah-langkah berikut:

Cordon node yang ada.
Drain node yang ada, dengan mematuhi setelan PodDisruptionBudget dan GracefulTerminationPeriod hingga satu jam.
Buat ulang node yang ada dengan konfigurasi baru.
Tunggu hingga node yang ada siap.
Lepaskan aturan node yang ada yang diupgrade.

Saat GKE membuat ulang node yang ada, GKE akan merilis kapasitas node untuk sementara jika kapasitasnya bukan dari reservasi. Artinya, jika kapasitas terbatas, Anda berisiko kehilangan kapasitas yang ada. Jadi, jika lingkungan Anda memiliki keterbatasan resource, gunakan setelan ini hanya jika Anda menggunakan node yang dicadangkan. Untuk mempelajari lebih lanjut, lihat Melakukan upgrade di lingkungan yang memiliki resource terbatas.

Contoh penggunaan setelan `maxSurge` dan `maxUnavailable`

Misalnya, cluster GKE memiliki kumpulan node satu zona dengan 5 node dan konfigurasi upgrade lonjakan berikut: maxSurge=2;maxUnavailable=1.

Selama upgrade lonjakan dengan kumpulan node ini, dalam jendela yang bergulir, GKE membuat dua node yang diupgrade, dan mengganggu maksimal satu node yang ada pada satu waktu. GKE menghapus maksimal tiga node yang ada setelah node yang diupgrade siap. Selama proses upgrade, kumpulan node akan mencakup antara empat dan tujuh node.

Pertimbangan untuk setelan upgrade lonjakan

Pertimbangkan informasi berikut sebelum mengonfigurasi setelan upgrade lonjakan:

Node yang dibuat oleh upgrade lonjakan tunduk pada kuota resource, ketersediaan resource, dan kapasitas reservasi Google Cloud, untuk kumpulan node dengan afinitas reservasi tertentu. Jika lingkungan Anda memiliki keterbatasan resource, lihat Melakukan upgrade di lingkungan yang memiliki resource terbatas.
Jumlah node yang diupgrade GKE secara bersamaan adalah jumlah dari maxSurge dan maxUnavailable. Jumlah maksimum node yang diupgrade secara bersamaan dibatasi hingga 20. Upgrade Surge juga berfungsi dengan autoscaler cluster untuk mencegah perubahan pada node yang sedang diupgrade.
GKE mengupgrade kumpulan node multi-zona satu zona pada satu waktu. Parameter upgrade lonjakan hanya berlaku hingga jumlah node di zona. Jumlah maksimum node yang dapat diupgrade secara paralel tidak akan lebih tinggi dari jumlah maxSurge ditambah maxUnavailable, dan tidak lebih tinggi dari jumlah node di zona.
Jika kumpulan node Anda menggunakan Spot VM, GKE akan membuat node surge dengan Spot VM, tetapi tidak akan menunggu Spot VM siap sebelum menyekat dan menghabiskan node yang ada. Untuk mempelajari lebih lanjut, baca bagian Mengupgrade node pool Standar menggunakan Spot VM.

Sesuaikan setelan upgrade lonjakan untuk menyeimbangkan kecepatan dan gangguan

Tabel berikut menjelaskan empat profil upgrade yang berbeda sebagai contoh untuk membantu Anda memahami berbagai konfigurasi:

Deskripsi	Konfigurasi	Kasus penggunaan umum
Seimbang (Default), lebih lambat tetapi tidak terlalu mengganggu	`maxSurge=1 maxUnavailable=0`	Sebagian besar workload
Cepat, tanpa resource lonjakan, paling mengganggu	`maxSurge=0 maxUnavailable=20`	Kumpulan node besar setelah tugas harus dijalankan hingga selesai
Resource yang cepat, sebagian besar lonjakan dan tidak terlalu mengganggu	`maxSurge=20 maxUnavailable=0`	Kumpulan node besar
Resource paling lambat, mengganggu, tidak ada lonjakan	`maxSurge=0 maxUnavailable=1`	Kumpulan node yang dibatasi resource dengan reservasi

Seimbang (Default)

Cara paling sederhana untuk memanfaatkan upgrade lonjakan adalah dengan menggunakan konfigurasi default, maxSurge=1;maxUnavailable=0. Dengan konfigurasi ini, upgrade akan berjalan perlahan, dengan hanya satu node lonjakan yang ditambahkan pada satu waktu, artinya hanya satu node yang diupgrade pada satu waktu. Pod dapat langsung dimulai ulang pada node surge baru. Konfigurasi ini hanya memerlukan resource untuk membuat satu node baru untuk sementara.

Resource yang cepat dan tanpa lonjakan

Jika Anda memiliki kumpulan node yang besar dan beban kerja Anda tidak sensitif terhadap gangguan (misalnya, tugas batch yang telah berjalan hingga selesai), gunakan konfigurasi berikut untuk memaksimalkan kecepatan tanpa menggunakan resource tambahan: maxSurge=0;maxUnavailable=20. Konfigurasi ini tidak memunculkan node lonjakan tambahan dan memungkinkan 20 node diupgrade secara bersamaan.

Cepat dan tidak terlalu mengganggu

Jika workload sensitif terhadap gangguan dan Anda telah menyiapkan PodDisruptionBudgets (PDB), tetapi tidak menggunakan externalTrafficPolicy: Local, yang tidak berfungsi dengan node paralel habis, Anda dapat meningkatkan kecepatan upgrade menggunakan maxSurge=20;maxUnavailable=0. Konfigurasi ini mengupgrade 20 node secara paralel, sedangkan PDB membatasi jumlah Pod yang dapat dikosongkan pada waktu tertentu. Meskipun konfigurasi PDB dapat bervariasi, jika Anda membuat PDB dengan maxUnavailable=1 untuk satu atau beberapa workload yang berjalan di node pool, hanya satu Pod dari workload tersebut yang dapat dikeluarkan pada satu waktu. Membatasi paralelisme dari seluruh upgrade. Konfigurasi ini memerlukan resource untuk membuat 20 node baru untuk sementara.

Resource lambat, tetapi tanpa lonjakan

Jika tidak dapat menggunakan resource tambahan, Anda dapat menggunakan maxSurge=0;maxUnavailable=1 untuk membuat ulang node satu per satu.

Mengontrol upgrade lonjakan yang sedang berlangsung

Dengan upgrade lonjakan, saat upgrade sedang berlangsung, Anda dapat menggunakan perintah untuk menerapkan beberapa kontrol atas upgrade tersebut. Untuk kontrol lebih besar atas proses upgrade, sebaiknya gunakan upgrade blue-green.

Membatalkan (menjeda) upgrade lonjakan

Anda dapat membatalkan upgrade lonjakan yang sedang berlangsung kapan saja selama proses upgrade. Dengan membatalkan upgrade, GKE akan berhenti mengupgrade node baru, tetapi melakukan roll back secara otomatis untuk upgrade node yang sudah diupgrade. Setelah membatalkan upgrade, Anda dapat melanjutkan atau melakukan roll back.

Jika Anda membatalkan upgrade, GKE akan melakukan hal berikut pada setiap node:

Node yang telah memulai upgrade akan menyelesaikannya.
Node yang belum memulai upgrade tidak akan diupgrade.
Node yang telah berhasil menyelesaikan upgrade tidak akan terpengaruh dan tidak di-roll back.

Ini berarti node pool mungkin berakhir dalam status yaitu node menjalankan dua versi yang berbeda. Jika upgrade otomatis diaktifkan untuk node pool, kumpulan node dapat dijadwalkan untuk upgrade otomatis lagi, yang akan mengupgrade sisa node dalam kumpulan node yang menjalankan versi yang lebih lama.

Pelajari cara membatalkan upgrade node pool.

Melanjutkan upgrade lonjakan

Jika upgrade node pool dibatalkan dan dibiarkan diupgrade sebagian, Anda dapat melanjutkan upgrade untuk menyelesaikan proses upgrade untuk node pool. Tindakan ini akan mengupgrade node yang tersisa yang belum diupgrade dalam operasi asli. Pelajari cara melanjutkan upgrade node pool.

Me-roll back upgrade lonjakan

Jika node pool dibiarkan diupgrade sebagian, Anda dapat me-roll back node pool untuk mengembalikannya ke status sebelumnya. Anda tidak dapat me-roll back node pool setelah berhasil diupgrade. Node yang belum memulai upgrade tidak akan terpengaruh. Pelajari cara melakukan roll back upgrade node pool.

Jika Anda ingin men-downgrade node pool ke versi sebelumnya setelah upgrade selesai, lihat Men-downgrade node pool.

Upgrade blue-green

Upgrade blue-green adalah strategi upgrade alternatif dari strategi upgrade lonjakan default. Dengan upgrade blue-green, GKE terlebih dahulu akan membuat sekumpulan resource node baru (node "hijau") dengan konfigurasi node baru sebelum mengeluarkan workload apa pun pada resource asli (node "biru"). GKE menyimpan resource "biru", jika diperlukan, untuk melakukan roll back workload hingga waktu perendamannya terpenuhi. Anda dapat menyesuaikan kecepatan upgrade dan waktu perendaman berdasarkan kebutuhan lingkungan.

Dengan strategi ini, Anda memiliki kontrol yang lebih besar atas proses upgrade. Anda dapat me-roll back upgrade yang sedang berlangsung, jika perlu, karena lingkungan asli dipertahankan selama upgrade. Namun, strategi upgrade ini juga memerlukan resource yang lebih intensif. Saat lingkungan asli direplikasi, kumpulan node menggunakan resource dua kali lipat selama upgrade.

Memilih upgrade blue-green untuk lingkungan Anda

Jika Anda memiliki workload produksi yang sangat tersedia, dan harus dapat melakukan roll back dengan cepat jika workload tidak menoleransi upgrade, dan kenaikan biaya sementara dapat diterima, sebaiknya pilih upgrade blue-green untuk node pool.

Upgrade blue-green optimal untuk skenario berikut:

jika menginginkan peluncuran bertahap dengan mitigasi risiko yang paling penting, yang memerlukan penghentian yang lancar lebih dari 60 menit.
jika workload tidak terlalu toleran terhadap gangguan.
jika kenaikan biaya sementara karena penggunaan sumber daya yang lebih tinggi dapat diterima.

Kapan GKE menggunakan upgrade blue-green

Untuk node GKE, ada berbagai jenis perubahan konfigurasi yang mengharuskan node dibuat ulang. Jika diaktifkan, GKE akan menggunakan upgrade berwarna biru-hijau saat jenis perubahan berikut terjadi:

Perubahan versi (upgrade)
Menskalakan node secara vertikal dengan mengubah atribut mesin node, termasuk jenis mesin, jenis disk, dan ukuran disk
Perubahan jenis gambar

Upgrade lonjakan akan digunakan untuk fitur lain yang mengharuskan node dibuat ulang. Untuk mempelajari lebih lanjut, lihat Kapan upgrade lonjakan digunakan.

Fase upgrade berwarna biru-hijau

Dengan upgrade blue-green, Anda dapat menyesuaikan dan mengontrol prosesnya dengan:

menggunakan parameter konfigurasi upgrade.
menggunakan perintah untuk membatalkan (menjeda), melanjutkan, melakukan roll back, atau menyelesaikan langkah-langkah.

Bagian ini menjelaskan fase proses upgrade. Anda dapat menggunakan setelan upgrade untuk menyesuaikan cara kerja fase, dan perintah untuk mengontrol proses upgrade.

Fase 1: Membuat green pool

Pada fase ini, kumpulan baru grup instance terkelola (MIG) yang dikenal sebagai "green" pool dibuat untuk setiap zona dalam pool target dengan konfigurasi node baru (versi baru atau jenis image).

Kuota akan diperiksa sebelum mulai menyediakan resource green baru.

Pada fase ini, MIG asli—yang dikenal sebagai blue pool—autoscaler cluster akan berhenti meningkatkan atau menurunkan skalanya. Green pool hanya dapat ditingkatkan dalam fase ini.

Pada fase ini, Anda dapat membatalkan upgrade jika perlu. Jika Anda membatalkan upgrade berwarna biru-hijau, upgrade akan dijeda pada fase saat ini. Setelah membatalkannya, Anda dapat melanjutkan atau melakukan roll back. Pada fase ini, melakukan roll back akan menghapus {i>green pool<i}/kumpulan hijau.

Fase 2: Menandai blue pool

Pada fase ini, semua node asli di blue pool (MIG yang ada) akan diberi batasan (ditandai sebagai tidak dapat dijadwalkan). Workload yang ada akan tetap berjalan, tetapi workload baru tidak akan dijadwalkan pada node yang ada.

Fase 3: Menguras blue pool

Pada fase ini, node asli di blue pool (MIG yang ada) akan dikuras dalam batch. Saat Kubernetes menghabiskan satu node, permintaan penghapusan akan dikirim ke semua Pod yang berjalan di node tersebut. Pod akan dijadwalkan ulang. Untuk Pod yang memiliki pelanggaran PodDisruptionBudget atau terminationGracePeriodSeconds yang panjang selama penghentian, pod akan dihapus di Hapus blue pool saat node dihapus. Anda dapat menggunakan BATCH_SOAK_DURATION dan NODE_POOL_SOAK_DURATION, yang dijelaskan di sini dan di bagian berikutnya, untuk memperpanjang periode sebelum Pod dihapus.

Anda dapat mengontrol ukuran batch dengan salah satu setelan berikut:

BATCH_NODE_COUNT: jumlah node absolut yang akan dikosongkan dalam batch.
BATCH_PERCENT: persentase node yang akan dikosongkan dalam batch, yang dinyatakan sebagai desimal antara 0 dan 1, inklusif. GKE membulatkan ke bawah ke persentase node terdekat, ke nilai minimum 1 node, jika persentase tersebut bukan seluruh jumlah node.

Jika salah satu setelan ini disetel ke nol, GKE akan melewati fase ini dan melanjutkan ke fase Soak node pool.

Selain itu, Anda dapat mengontrol berapa lama setiap batch dikosongkan dengan BATCH_SOAK_DURATION. Durasi ini ditentukan dalam detik, dengan default adalah nol detik.

Pada tahap ini, Anda masih dapat membatalkan upgrade jika perlu. Jika Anda membatalkan upgrade berwarna biru-hijau, upgrade akan dijeda pada fase saat ini. Setelah membatalkannya, Anda dapat melanjutkan atau melakukan roll back. Pada fase ini, melakukan roll back akan menghentikan pengosongan kolam biru dan melepaskan kordon pada kolam biru. Selanjutnya, beban kerja dapat dijadwalkan ulang pada kumpulan biru (tidak dijamin), dan kumpulan hijau akan dihapus.

Fase 4: Merendam node pool

Fase ini digunakan untuk memverifikasi kondisi workload setelah node blue pool dikuras.

Waktu rendam disetel dengan NODE_POOL_SOAK_DURATION, dalam detik. Secara default, nilainya disetel ke satu jam (3600 detik). Jika total durasi rendam mencapai 7 hari (604.800 detik), Fase Hapus blue pool akan segera dimulai.

Total durasi rendam adalah jumlah NODE_POOL_SOAK_DURATION, ditambah BATCH_SOAK_DURATION dikalikan dengan jumlah batch, yang ditentukan oleh BATCH_NODE_COUNT atau BATCH_PERCENT.

Pada fase ini, Anda dapat menyelesaikan upgrade dan melewati waktu tunggu yang tersisa dengan menyelesaikan upgrade. Tindakan ini akan segera memulai proses penghapusan node blue pool.

Anda tetap dapat membatalkan upgrade jika perlu. Jika Anda membatalkan upgrade berwarna biru-hijau, upgrade akan dijeda pada fase saat ini. Setelah membatalkannya, Anda dapat melanjutkan atau melakukan roll back.

Pada fase ini, autoscaler cluster kini dapat meningkatkan atau menurunkan skala green pool seperti biasa.

Fase 5: Menghapus blue pool

Setelah waktu perendaman berakhir, node blue pool akan dihapus dari pool target. Fase ini tidak dapat dijeda. Selain itu, fase ini tidak menggunakan pengeluaran dan sebagai gantinya, mencoba menghapus Pod. Tidak seperti penghapusan, penghapusan tidak mematuhi PDB dan menghapus Pod secara paksa. Penghapusan ini membatasi terminationGracePeriodSeconds Pod menjadi tidak lebih dari 60 menit. Setelah upaya terakhir ini dilakukan untuk menghapus Pod yang tersisa, node blue pool akan dihapus dari node pool.

Pada akhir fase ini, node pool hanya akan memiliki node baru dengan konfigurasi yang telah diupdate (versi atau jenis gambar).

Cara kerja autoscaler cluster dengan upgrade blue-green

Selama fase upgrade blue-green, "blue" pool asli tidak meningkatkan atau menurunkan skala. Saat kumpulan "hijau" baru dibuat, skalanya hanya dapat ditingkatkan hingga fase kumpulan node Soak, yang dapat meningkatkan atau menurunkan skala. Jika upgrade di-rollback, kumpulan "blue" asli dapat ditingkatkan skalanya selama proses ini jika diperlukan kapasitas tambahan.

Mengontrol upgrade blue-green yang sedang berlangsung

Dengan upgrade blue-green, saat upgrade sedang berlangsung, Anda dapat menggunakan perintah untuk mengontrolnya. Ini memberi Anda kontrol tingkat tinggi atas proses jika Anda menentukan, misalnya, bahwa workload perlu di-roll back ke konfigurasi node lama.

Membatalkan (menjeda) upgrade berwarna biru-hijau

Jika membatalkan upgrade blue-green, Anda akan menjeda upgrade pada fase saat ini. Perintah ini dapat digunakan di semua fase kecuali Delete blue pool fase. Jika dibatalkan, kumpulan node akan dijeda pada status menengah berdasarkan fase tempat permintaan dikeluarkan.

Pelajari cara membatalkan upgrade kumpulan node.

Setelah upgrade dibatalkan, Anda dapat memilih salah satu dari dua jalur maju: lanjutkan atau roll back.

Melanjutkan upgrade blue-green

Jika Anda telah memutuskan bahwa upgrade dapat dilakukan, Anda dapat melanjutkannya.

Jika melanjutkan, proses upgrade akan dilanjutkan pada fase menengah proses dijeda. Untuk mempelajari cara melanjutkan upgrade node pool, lihat Melanjutkan upgrade node pool.

Me-roll back upgrade blue-green

Jika telah menentukan bahwa upgrade tidak boleh dilanjutkan dan Anda ingin mengembalikan kumpulan node ke status aslinya, Anda dapat melakukan roll back. Untuk mempelajari cara me-roll back upgrade node pool, lihat melakukan roll back upgrade node pool.

Dengan alur kerja roll back, proses ini akan membalikkan dirinya sendiri untuk mengembalikan node pool ke status awal. Blue pool tidak akan terhubung sehingga workload dapat dijadwalkan ulang. Selama proses ini, autoscaler cluster dapat meningkatkan skala blue pool sesuai kebutuhan. Green pool akan dikuras dan dihapus.