Riutilizza i cluster

Questa pagina descrive come riutilizzare i cluster Dataproc per le esecuzioni della pipeline in Cloud Data Fusion. Per maggiori informazioni, consulta Quando riutilizzare i cluster ed Eseguire una pipeline su un cluster Dataproc esistente.

Prima di iniziare

  • Devi avere un'istanza di Cloud Data Fusion versione 6.5.0 o successive.

Abilita riutilizzo del cluster

Puoi riutilizzare i cluster in un nuovo profilo di computing o in uno che è stato utilizzato in una pipeline di cui è stato eseguito il deployment.

Abilita il riutilizzo del cluster in un nuovo profilo

  1. Vai all'istanza:

    1. Nella console Google Cloud, vai alla pagina di Cloud Data Fusion.

    2. Per aprire l'istanza in Cloud Data Fusion Studio: Fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

  2. Fai clic su Amministratore di sistema > Configurazione > Profili di computing del sistema.

  3. Fai clic su Crea nuovo profilo.

  4. Scegli il provisioner Dataproc.

  5. Nella finestra Crea un profilo per Dataproc, inserisci i dettagli del cluster:

    1. Nei campi Etichetta profilo e Nome profilo, inserisci un nome per identificare il profilo, ad esempio execution_compute-profile.
    2. Nel campo Descrizione, descrivi lo scopo del profilo, ad esempio Profile used for pipeline execution.
    3. Nel campo Tempo di inattività massimo, inserisci un valore. Per maggiori informazioni, consulta Impostare il tempo di inattività massimo.
    4. Imposta il campo Ignora eliminazione cluster su True. Per maggiori informazioni, consulta Quando riutilizzare i cluster.
    5. (Facoltativo) Configura altri campi facoltativi.
    6. Fai clic su Crea.

Abilita il riutilizzo del cluster in una pipeline di cui è stato eseguito il deployment

  1. Vai all'istanza:

    1. Nella console Google Cloud, vai alla pagina di Cloud Data Fusion.

    2. Per aprire l'istanza in Cloud Data Fusion Studio: Fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

  2. Fai clic su Elenco.

  3. Fai clic sulla scheda Deployment e fai clic sul nome di una pipeline. La pipeline di cui hai eseguito il deployment si apre nella pagina Studio nell'interfaccia web di Cloud Data Fusion.

  4. Fai clic su Configura.

  5. Nella finestra Configurazione calcolo, vai al profilo scelto e fai clic su Personalizza.

  6. Nella finestra che si apre, inserisci i seguenti valori:

    1. Nel campo Tempo di inattività massimo, inserisci un valore. Per maggiori informazioni, consulta Impostare il tempo di inattività massimo.
    2. Imposta Ignora eliminazione cluster su True. Per maggiori informazioni, consulta Quando riutilizzare i cluster.

  7. Fai clic su Fine.

Passaggi successivi