Memecahkan masalah penghapusan cluster

Halaman ini menunjukkan cara menyelesaikan masalah terkait penghapusan cluster Dataproc sementara di Cloud Data Fusion.

Saat Cloud Data Fusion membuat cluster Dataproc efemeral selama penyediaan operasi pipeline, cluster akan dihapus setelah operasi pipeline selesai. Dalam kasus yang jarang terjadi, penghapusan cluster gagal.

Sangat direkomendasikan: Upgrade ke versi Cloud Data Fusion terbaru untuk memastikan pemeliharaan cluster yang tepat.

Menetapkan Waktu Tidak Ada Aktivitas Maksimum

Untuk mengatasi masalah ini, konfigurasikan nilai Max Idle Time. Hal ini memungkinkan Dataproc menghapus cluster secara otomatis, meskipun panggilan eksplisit pada penyelesaian pipeline gagal.

Max Idle Time tersedia di Cloud Data Fusion versi 6.4 dan yang lebih baru.

Di Cloud Data Fusion 6.6 dan yang lebih baru, Max Idle Time ditetapkan ke 4 jam secara default.

Untuk mengganti waktu default di profil komputasi default, ikuti langkah-langkah berikut:

1. Buka instance di antarmuka web Cloud Data Fusion.
2. Klik System Admin > Configuration > System Preferences.
3. Klik Edit System Preferences dan tambahkan kunci system.profile.properties.idleTTL dan nilai, dalam format IntegerUnit, seperti 30m.

Direkomendasikan: Untuk versi sebelum 6.6, tetapkan Max Idle Time secara manual ke 30 menit atau lebih.

Menghapus cluster secara manual

Jika Anda tidak dapat mengupgrade versi atau mengonfigurasi opsi Max Idle Time, hapus cluster yang sudah tidak berlaku secara manual:

1. Dapatkan setiap project ID tempat cluster dibuat:

   1. Dalam argumen runtime pipeline, periksa apakah project ID Dataproc disesuaikan untuk dijalankan.

      

   2. Jika project ID Dataproc tidak ditentukan secara eksplisit, tentukan penyedia yang digunakan, lalu periksa project ID:

      1. Dalam argumen runtime pipeline, periksa nilai system.profile.name.

         

      2. Buka setelan penyedia dan periksa apakah project ID Dataproc ditetapkan. Jika setelan tidak ada atau kolom kosong, project tempat instance Cloud Data Fusion berjalan akan digunakan.

   Penting: Beberapa operasi pipeline mungkin menggunakan project yang berbeda. Pastikan untuk mendapatkan semua project ID.

2. Untuk setiap project:

   1. Buka project di konsol Google Cloud, lalu buka halaman Cluster Dataproc.

      Buka Cluster

   2. Urutkan cluster berdasarkan tanggal pembuatannya, dari yang terlama ke terbaru.

   3. Jika panel info disembunyikan, klik Tampilkan panel info dan buka tab Label.

   4. Untuk setiap cluster yang tidak digunakan—misalnya, lebih dari satu hari telah berlalu—periksa apakah cluster tersebut memiliki label versi Cloud Data Fusion. Hal ini menunjukkan bahwa pipeline tersebut dibuat oleh Cloud Data Fusion.

   5. Pilih kotak centang berdasarkan nama cluster, lalu klik Hapus.

Melewati penghapusan cluster

Untuk tujuan proses debug, Anda dapat menghentikan penghapusan otomatis cluster sementara.

Untuk menghentikan penghapusan, tetapkan properti Skip Cluster Deletion ke True. Anda harus menghapus cluster secara manual setelah menyelesaikan proses debug.