Questa pagina descrive come riutilizzare i cluster Dataproc per le esecuzioni della pipeline in Cloud Data Fusion. Per ulteriori informazioni, consulta Quando riutilizzare i cluster e Eseguire una pipeline su un cluster Dataproc esistente.
Prima di iniziare
- Devi disporre di un'istanza Cloud Data Fusion nella versione 6.5.0 o successive.
Abilita il riutilizzo del cluster
Puoi riutilizzare i cluster in un nuovo profilo di calcolo o in uno che è stato utilizzato in una pipeline di cui è stato eseguito il deployment.
Abilita il riutilizzo del cluster in un nuovo profilo
Vai all'istanza:
Nella console Google Cloud, vai alla pagina Cloud Data Fusion.
Per aprire l'istanza in Cloud Data Fusion Studio, fai clic su Istanze e poi su Visualizza istanza.
Fai clic su Amministrazione di sistema > Configurazione > Profili di calcolo del sistema.
Fai clic su Crea nuovo profilo.
Scegli il provisioning di Dataproc.
Nella finestra Crea un profilo per Dataproc, inserisci i dettagli del cluster:
- Nei campi Etichetta profilo e Nome profilo, inserisci un nome per identificare il profilo, ad esempio
execution_compute-profile
. - Nel campo Descrizione, descrivi lo scopo del profilo, ad esempio
Profile used for pipeline execution
. - Nel campo Tempo di inattività massimo, inserisci un valore. Per ulteriori informazioni, consulta Impostare il tempo di inattività massimo.
- Imposta il campo Salta eliminazione cluster su
True
. Per ulteriori informazioni, consulta Quando riutilizzare i cluster. - (Facoltativo) Configura altri campi facoltativi.
- Fai clic su Crea.
- Nei campi Etichetta profilo e Nome profilo, inserisci un nome per identificare il profilo, ad esempio
Consentire il riutilizzo del cluster in una pipeline di cui è stato eseguito il deployment
Vai all'istanza:
Nella console Google Cloud, vai alla pagina Cloud Data Fusion.
Per aprire l'istanza in Cloud Data Fusion Studio, fai clic su Istanze e poi su Visualizza istanza.
Fai clic su Elenco.
Fai clic sulla scheda Eseguito il deployment e poi sul nome di una pipeline. La pipeline di cui è stato eseguito il deployment si apre nella pagina Studio dell'interfaccia web di Cloud Data Fusion.
Fai clic su Configura.
Nella finestra Configurazione di calcolo, vai al profilo scelto e fai clic su Personalizza.
Nella finestra che si apre, inserisci i seguenti valori:
- Nel campo Tempo di inattività massimo, inserisci un valore. Per ulteriori informazioni, consulta Impostare il tempo di inattività massimo.
- Imposta Salta l'eliminazione del cluster su
True
. Per ulteriori informazioni, consulta Quando riutilizzare i cluster.
Fai clic su Fine.
Passaggi successivi
- Scopri di più sulla configurazione dei cluster.
- Risolvi i problemi di eliminazione dei cluster.