Risoluzione dei problemi: eliminazione dei cluster

Questa pagina mostra come risolvere i problemi relativi all'eliminazione dei cluster Dataproc temporanei in Cloud Data Fusion.

Quando Cloud Data Fusion crea un cluster Dataproc temporaneo durante il provisioning della esecuzione della pipeline, il cluster viene eliminato al termine dell'esecuzione della pipeline. In rari casi, l'eliminazione del cluster non riesce.

Vivamente consigliato: esegui l'upgrade alla versione più recente di Cloud Data Fusion per garantire la corretta manutenzione del cluster.

Imposta tempo di inattività massimo

Per risolvere il problema, configura l'opzione Max Idle Time. Questo consente a Dataproc di eliminare automaticamente i cluster, anche se una chiamata esplicita al termine della pipeline non va a buon fine.

Max Idle Time è disponibile in Cloud Data Fusion 6.4 e versioni successive.

Consigliato: per le versioni precedenti alla 6.6, imposta manualmente Max Idle Time su 30 minuti o più.

Elimina manualmente i cluster

Se non puoi eseguire l'upgrade della versione o configurare l'opzione Max Idle Time, elimina manualmente i cluster inattivi:

  1. Recupera ogni ID progetto in cui sono stati creati i cluster:

    1. Negli argomenti di runtime della pipeline, verifica se l'ID progetto Dataproc è personalizzato per l'esecuzione.

      Controlla se l'ID progetto Dataproc è personalizzato per l'esecuzione

    2. Se non viene specificato esplicitamente un ID progetto Dataproc, stabilisci quale provisioner viene utilizzato, quindi controlla se è presente un ID progetto:

      1. Negli argomenti di runtime della pipeline, controlla il valore system.profile.name.

        Recupera il nome del provisioner negli argomenti runtime

      2. Apri le impostazioni del provisioner e controlla se è impostato l'ID del progetto Dataproc. Se l'impostazione non è presente o il campo è vuoto, viene utilizzato il progetto in cui è in esecuzione l'istanza di Cloud Data Fusion.

  2. Per ciascun progetto:

    1. Apri il progetto in Google Cloud Console e vai alla pagina Cluster di Dataproc.

      Vai ai cluster

    2. Ordina i cluster in base alla data di creazione, dalla meno recente alla più recente.

    3. Se il riquadro informazioni è nascosto, fai clic su Mostra riquadro informazioni e vai alla scheda Etichette.

    4. Per ogni cluster non in uso, ad esempio più di un giorno, controlla se è presente un'etichetta della versione di Cloud Data Fusion. Questo indica che è stato creato da Cloud Data Fusion.

    5. Seleziona la casella di controllo in corrispondenza del nome del cluster e fai clic su Elimina.