Memecahkan masalah saat menghapus cluster

Halaman ini menunjukkan cara menyelesaikan masalah terkait penghapusan cluster Dataproc sementara di Cloud Data Fusion.

Saat Cloud Data Fusion membuat cluster Dataproc efemeral selama penyediaan operasi pipeline, cluster akan dihapus setelah pipeline dijalankan selesai. Dalam kasus yang jarang terjadi, penghapusan cluster gagal.

Sangat direkomendasikan: Upgrade ke versi Cloud Data Fusion terbaru untuk memastikan pemeliharaan cluster yang tepat.

Tetapkan Waktu Tidak Ada Aktivitas Maks

Untuk mengatasi masalah ini, konfigurasikan nilai Waktu Tidak Aktif Maks. Hal ini memungkinkan Dataproc menghapus cluster secara otomatis, meskipun panggilan eksplisit pada penyelesaian pipeline gagal.

Max Idle Time tersedia di Cloud Data Fusion versi 6.4 dan yang lebih baru.

Di Cloud Data Fusion 6.6 dan yang lebih baru, Max Idle Time ditetapkan ke 4 jam secara default.

Untuk mengganti waktu default di profil komputasi default, ikuti langkah-langkah berikut:

  1. Buka instance di antarmuka web Cloud Data Fusion.
  2. Klik System Admin > Configuration > System Preferences.
  3. Klik Edit System Preferences dan tambahkan kunci system.profile.properties.idleTTL serta nilainya, dalam format IntegerUnit, seperti 30m.

Direkomendasikan: Untuk versi sebelum 6.6, setel Max Idle Time secara manual ke 30 menit atau lebih.

Hapus cluster secara manual

Jika Anda tidak dapat mengupgrade versi atau mengonfigurasi opsi Max Idle Time, hapus cluster lama secara manual:

  1. Dapatkan setiap project ID tempat cluster dibuat:

    1. Pada argumen runtime pipeline, periksa apakah project ID Dataproc disesuaikan untuk dijalankan.

      Memeriksa apakah project ID Dataproc disesuaikan untuk dijalankan

    2. Jika project ID Dataproc tidak ditentukan secara eksplisit, tentukan penyedia mana yang digunakan, lalu periksa project ID:

      1. Di argumen runtime pipeline, periksa nilai system.profile.name.

        Mendapatkan nama penyedia dalam argumen runtime

      2. Buka setelan penyedia dan periksa apakah project ID Dataproc sudah ditetapkan. Jika setelan tidak ada atau kolom kosong, project tempat instance Cloud Data Fusion berjalan akan digunakan.

  2. Untuk setiap project:

    1. Buka project di Konsol Google Cloud, lalu buka halaman Clusters Dataproc.

      Buka Cluster

    2. Urutkan cluster berdasarkan tanggal pembuatannya, dari yang terlama hingga terbaru.

    3. Jika panel info disembunyikan, klik Tampilkan panel info, lalu buka tab Label.

    4. Untuk setiap cluster yang tidak digunakan—misalnya, lebih dari satu hari telah berlalu—periksa apakah cluster tersebut memiliki label versi Cloud Data Fusion. Hal tersebut merupakan indikasi bahwa lingkungan dibuat oleh Cloud Data Fusion.

    5. Centang kotak di samping nama cluster, lalu klik Hapus.

Lewati penghapusan cluster

Untuk tujuan proses debug, Anda dapat menghentikan penghapusan otomatis cluster sementara.

Untuk menghentikan penghapusan, tetapkan properti Skip Cluster Deletion ke True. Anda harus menghapus cluster secara manual setelah menyelesaikan proses debug.