Risolvere i problemi relativi all'eliminazione dei cluster

Questa pagina mostra come risolvere i problemi relativi all'eliminazione di cluster Dataproc temporanei in Cloud Data Fusion.

Quando Cloud Data Fusion crea un cluster Dataproc temporaneo durante il provisioning dell'esecuzione della pipeline, il cluster viene eliminato al termine dell'esecuzione della pipeline. In rari casi, l'eliminazione del cluster non riesce.

Vivamente consigliato: esegui l'upgrade alla versione più recente di Cloud Data Fusion per garantire una manutenzione del cluster corretta.

Imposta tempo di inattività massimo

Per risolvere il problema, configura il valore Tempo di inattività massimo. In questo modo, Dataproc consente a Dataproc di eliminare automaticamente i cluster, anche se una chiamata esplicita al completamento della pipeline non va a buon fine.

Max Idle Time è disponibile in Cloud Data Fusion 6.4 e versioni successive.

In Cloud Data Fusion 6.6 e versioni successive, il Tempo di inattività massimo è impostato su 4 ore per impostazione predefinita.

Per eseguire l'override dell'ora predefinita nel profilo di computing predefinito, segui questi passaggi:

1. Apri l'istanza nell'interfaccia web di Cloud Data Fusion.
2. Fai clic su Amministratore di sistema > Configurazione > Preferenze di sistema.
3. Fai clic su Modifica preferenze di sistema e aggiungi la chiave system.profile.properties.idleTTL e il valore nel formato IntegerUnit, ad esempio 30m.

Consigliato: per le versioni precedenti alla 6.6, imposta manualmente Max Idle Time su un valore minimo di 30 minuti.

Elimina manualmente i cluster

Se non puoi eseguire l'upgrade della tua versione o configurare l'opzione Max Idle Time, elimina manualmente i cluster inattivi:

1. Ottieni ogni ID progetto in cui sono stati creati i cluster:

   1. Negli argomenti di runtime della pipeline, verifica se l'ID progetto Dataproc è personalizzato per l'esecuzione.

      

   2. Se non viene specificato esplicitamente un ID progetto Dataproc, determina quale provisioner viene utilizzato, quindi verifica l'ID progetto:

      1. Negli argomenti del runtime della pipeline, controlla il valore system.profile.name.

         

      2. Apri le impostazioni del provisioner e controlla se l'ID progetto Dataproc è impostato. Se l'impostazione non è presente o il campo è vuoto, viene utilizzato il progetto su cui è in esecuzione l'istanza di Cloud Data Fusion.

   Importante: più esecuzioni di pipeline potrebbero utilizzare progetti diversi. Assicurati di recuperare tutti gli ID progetto.

2. Per ogni progetto:

   1. Apri il progetto nella console Google Cloud e vai alla pagina Cluster di Dataproc.

      Vai a Cluster

   2. Ordina i cluster per data di creazione, dal meno recente al più recente.

   3. Se il riquadro informazioni è nascosto, fai clic su Mostra riquadro informazioni e vai alla scheda Etichette.

   4. Per ogni cluster che non è in uso, ad esempio se è trascorso più di un giorno, controlla se ha un'etichetta di versione di Cloud Data Fusion. Questo indica che è stato creato da Cloud Data Fusion.

   5. Seleziona la casella di controllo accanto al nome del cluster e fai clic su Elimina.

Salta eliminazione cluster

A scopo di debug, puoi interrompere l'eliminazione automatica di un cluster temporaneo.

Per interrompere l'eliminazione, imposta la proprietà Skip Cluster Deletion su True. Devi eliminare manualmente il cluster dopo aver completato il debug.