Risolvere i problemi di eliminazione dei cluster

Questa pagina mostra come risolvere i problemi relativi all'eliminazione dei cluster Dataproc temporanei in Cloud Data Fusion.

Quando Cloud Data Fusion crea un cluster Dataproc temporaneo durante il provisioning dell'esecuzione della pipeline, il cluster viene eliminato al termine dell'esecuzione della pipeline. In rari casi, l'eliminazione del cluster non riesce.

Fortemente consigliato: esegui l'upgrade alla versione più recente di Cloud Data Fusion per garantire una corretta manutenzione del cluster.

Imposta il tempo massimo di inattività

Per risolvere il problema, configura il valore Tempo di inattività massimo. In questo modo, Dataproc può eliminare automaticamente i cluster anche se una chiamata esplicita al completamento della pipeline non va a buon fine.

Max Idle Time è disponibile in Cloud Data Fusion 6.4 e versioni successive.

In Cloud Data Fusion 6.6 e versioni successive, Tempo di inattività massimo è impostato su 4 ore per impostazione predefinita.

Per sostituire l'ora predefinita nel profilo di calcolo predefinito:

1. Apri l'istanza nell'interfaccia web di Cloud Data Fusion.
2. Fai clic su Amministrazione sistema > Configurazione > Preferenze sistema.
3. Fai clic su Modifica preferenze di sistema e aggiungi la chiave system.profile.properties.idleTTL e il valore, in formato IntegerUnit, come 30m.

Consigliato: per le versioni precedenti alla 6.6, imposta Max Idle Time manualmente su almeno 30 minuti.

Eliminare i cluster manualmente

Se non riesci a eseguire l'upgrade della versione o a configurare l'opzione Max Idle Time, elimina manualmente i cluster inattivi:

1. Recupera ogni ID progetto in cui sono stati creati i cluster:

   1. Negli argomenti di runtime della pipeline, controlla se l'ID progetto Dataproc è personalizzato per l'esecuzione.

      

   2. Se non viene specificato esplicitamente un ID progetto Dataproc, determina quale provider viene utilizzato e poi controlla se è presente un ID progetto:

      1. Negli argomenti di runtime della pipeline, controlla il valore system.profile.name.

         

      2. Apri le impostazioni del provisioning e controlla se l'ID progetto Dataproc è impostato. Se l'impostazione non è presente o il campo è vuoto, viene utilizzato il progetto in cui è in esecuzione l'istanza Cloud Data Fusion.

   Importante: più esecuzioni della pipeline potrebbero utilizzare progetti diversi. Assicurati di recuperare tutti gli ID progetto.

2. Per ogni progetto:

   1. Apri il progetto nella console Google Cloud e vai alla pagina Cluster di Dataproc.

      Vai a Cluster

   2. Ordina i cluster in base alla data di creazione, dal più antico al più recente.

   3. Se il riquadro informazioni è nascosto, fai clic su Mostra riquadro informazioni e vai alla scheda Etichette.

   4. Per ogni cluster non in uso, ad esempio se è trascorso più di un giorno, controlla se è presente un'etichetta della versione di Cloud Data Fusion. Ciò indica che è stato creato da Cloud Data Fusion.

   5. Seleziona la casella di controllo accanto al nome del cluster e fai clic su Elimina.

Saltare l'eliminazione del cluster

Per scopi di debug, puoi interrompere l'eliminazione automatica di un cluster temporaneo.

Per interrompere l'eliminazione, imposta la proprietà Skip Cluster Deletion su True. Devi eliminare manualmente il cluster al termine del debug.