Risoluzione dei problemi: eliminazione dei cluster

Questa pagina mostra come risolvere i problemi relativi all'eliminazione dei cluster Dataproc temporanei in Cloud Data Fusion.

Quando Cloud Data Fusion crea un cluster temporaneo temporaneo durante il provisioning delle esecuzioni della pipeline, il cluster viene eliminato al termine dell'esecuzione della pipeline. In rari casi, l'eliminazione del cluster non riesce.

Vivamente consigliato: esegui l'upgrade alla versione di Cloud Data Fusion più recente per garantire la corretta manutenzione del cluster.

Imposta tempo di inattività massimo

Per risolvere questo problema, configura l'opzione Max Idle Time. Questo consente a Dataproc di eliminare automaticamente i cluster, anche se una chiamata esplicita al termine della pipeline non va a buon fine.

Max Idle Time è disponibile in Cloud Data Fusion versione 6.4 e successive.

Nota: in Cloud Data Fusion 6.6 e versioni successive, Max Idle Time è impostato su 30 minuti per impostazione predefinita e non è necessaria alcuna configurazione aggiuntiva.

Consigliato: per le versioni precedenti alla 6.6, imposta Max Idle Time manualmente su 30 minuti o più.

Elimina i cluster manualmente

Se non puoi eseguire l'upgrade della versione o configurare l'opzione Max Idle Time, elimina i cluster inattivi manualmente:

1. Recupera ogni ID progetto in cui sono stati creati i cluster:

   1. Negli argomenti di runtime della pipeline, controlla se l'ID progetto Dataproc è personalizzato per l'esecuzione.

      

   2. Se un ID progetto Dataproc non è specificato in modo esplicito, determina quale provisioner viene utilizzato, quindi verifica se è presente un ID progetto:

      1. Negli argomenti del runtime della pipeline, controlla il valore system.profile.name.

         

      2. Apri le impostazioni del provisioner e controlla se l'ID progetto Dataproc è impostato. Se l'impostazione non è presente o il campo è vuoto, viene utilizzato il progetto in cui è in esecuzione l'istanza di Cloud Data Fusion.

   Importante: più esecuzioni di pipeline possono utilizzare progetti diversi. Assicurati di recuperare tutti gli ID progetto.

2. Per ogni progetto:

   1. Apri il progetto in Google Cloud Console e vai alla pagina Cluster di Dataproc.

      Vai ai cluster

   2. Ordina i cluster per data di creazione, dalla meno recente alla più recente.

   3. Se il riquadro informazioni è nascosto, fai clic su Mostra riquadro informazioni e vai alla scheda Etichette.

   4. Per ogni cluster non in uso, ad esempio, quando è trascorso più di un giorno, verifica se include un'etichetta di versione di Cloud Data Fusion. Questo indica che è stato creato da Cloud Data Fusion.

   5. Seleziona la casella di controllo accanto al nome del cluster e fai clic su Elimina.