Upgrade dell'ambiente Cloud Data Fusion

Puoi eseguire l'upgrade delle tue istanze Cloud Data Fusion e delle pipeline in modalità batch alla versione più recente della piattaforma e del plug-in per ottenere le funzionalità, le correzioni di bug e i miglioramenti delle prestazioni più recenti. Il processo di upgrade comporta tempi di inattività delle istanze e delle pipeline (consulta Prima di iniziare).

Prima di iniziare

  • Pianifica un tempo di riposo programmato per l'upgrade. Il processo dura fino a un'ora.

  • Consigliato:prima di eseguire l'upgrade, interrompi le pipeline in esecuzione e disabilita eventuali trigger a monte, come i trigger di Cloud Composer. Quando inizia l'upgrade, tutte le pipeline in esecuzione vengono arrestate. Se esegui l'upgrade alle versioni 6.3 e successive, se eventuali pipeline sono in esecuzione in anticipo, Cloud Data Fusion non le riavvia. Nelle versioni precedenti, Cloud Data Fusion tenta di riavviarli.

  • Installa Google Cloud CLI.

  • Installa curl.

Esegui l'upgrade delle istanze di Cloud Data Fusion

Per eseguire l'upgrade di un'istanza Cloud Data Fusion a una nuova versione di Cloud Data Fusion:

  1. Nella console Google Cloud, apri la pagina Istanze.

    Apri la pagina Istanze

  2. Fai clic su Instance Name per aprire la pagina Dettagli istanza. Questa pagina elenca le informazioni sull'istanza, tra cui instance id, region, Cloud Data Fusion version, impostazioni di logging e monitoraggio correnti ed eventuali etichette di istanza.

Quindi esegui l'upgrade utilizzando la console Google Cloud o Google Cloud CLI:

Console

  1. Fai clic su Esegui l'upgrade per visualizzare un elenco di versioni disponibili.

  2. Seleziona la versione che preferisci.

  3. Fai clic su Esegui upgrade.

  4. Fai clic su Visualizza istanza per accedere all'istanza sottoposta ad upgrade.

  5. Verifica che l'upgrade sia riuscito ricaricando la pagina Dettagli istanza, quindi facendo clic su Amministratore di sistema nella barra dei menu. Il nuovo numero di versione viene visualizzato nella parte superiore della pagina.

  6. Per evitare che le pipeline si blocchino quando le esegui nella nuova versione:

    1. Concedi i ruoli richiesti nella tua istanza aggiornata.

    2. Se hai eseguito l'upgrade alla versione 6.2.0 o successive e il cluster Dataproc si blocca nello stato di provisioning, consulta Aggiunta di tag di rete.

gcloud

  1. Esegui il comando gcloud seguente da una sessione Cloud Shell del terminale locale per eseguire l'upgrade a una nuova versione di Cloud Data Fusion. Aggiungi i flag --enable_stackdriver_logging, --enable_stackdriver_monitoring e --labels, se applicabili alla tua istanza. 

    gcloud beta data-fusion instances update \
    --project=PROJECT_ID \
    --location=REGION \
    --version=NEW_VERSION_NUMBER INSTANCE_ID

  2. Al termine del comando, verifica che l'upgrade sia riuscito. Dalla console Google Cloud, ricarica la pagina Dettagli istanza, quindi fai clic su Amministratore di sistema nella barra dei menu. Il nuovo numero di versione viene visualizzato nella parte superiore della pagina.

  3. Per evitare che le pipeline si blocchino quando le esegui nella nuova versione:

    1. Concedi i ruoli richiesti nella tua istanza aggiornata.

    2. Se hai eseguito l'upgrade alla versione 6.2.0 o successive e il cluster Dataproc si blocca nello stato di provisioning, consulta la sezione Aggiungere tag di rete.

Esegui l'upgrade delle pipeline in modalità batch

Per eseguire l'upgrade delle pipeline batch di Cloud Data Fusion in modo da utilizzare le versioni plug-in più recenti:

  1. Imposta le variabili di ambiente.

  2. Consigliato: esegui il backup di tutte le pipeline.

    1. Esegui questo comando, quindi copia l'output dell'URL nel browser per attivare il download di un file ZIP. 

      echo $CDAP_ENDPOINT/v3/export/apps

    2. Decomprimi il file scaricato, quindi conferma che tutte le pipeline sono state esportate. Le pipeline sono organizzate per spazio dei nomi.

  3. Esegui l'upgrade delle pipeline.

    1. Crea una variabile che indirizzi al file pipeline_upgrade.json che creerai nel passaggio successivo per salvare un elenco di pipeline (inserisci PATH nel file). 

      export PIPELINE_LIST=PATH/pipeline_upgrade.json

    2. Crea un elenco di tutte le pipeline per un'istanza e uno spazio dei nomi utilizzando il seguente comando. Il risultato viene memorizzato nel file $PIPELINE_LIST nel formato JSON. Puoi modificare l'elenco per rimuovere le pipeline di cui non è necessario eseguire l'upgrade. Imposta il campo NAMESPACE_ID sullo spazio dei nomi in cui vuoi eseguire l'upgrade. 

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST

    3. Esegui l'upgrade delle pipeline elencate in pipeline_upgrade.json. Inserisci il NAMESPACE_ID di pipeline di cui eseguire l'upgrade. Il comando visualizza un elenco di pipeline di cui è stato eseguito l'upgrade con il relativo stato dell'upgrade. 

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST

  4. Per evitare che le pipeline si blocchino quando le esegui nella nuova versione:

    1. Concedi i ruoli richiesti nella tua istanza aggiornata.

    2. Se hai eseguito l'upgrade alla versione 6.2.0 o successive e il cluster Dataproc si blocca nello stato di provisioning, consulta Aggiunta di tag di rete.

Esegui l'upgrade per abilitare la replica

La replica può essere abilitata negli ambienti Cloud Data Fusion nella versione 6.3.0 o successive. Se hai la versione 6.2.3, esegui l'upgrade alla 6.3.0, quindi abilita la replica.

Concedi ruoli per le istanze di cui è stato eseguito l'upgrade

Se esegui l'upgrade di un'istanza da Cloud Data Fusion versione 6.1.x alle versioni 6.2.0 o successive, dopo il completamento dell'upgrade concedi il ruolo runner di Cloud Data Fusion e il ruolo di amministratore di Cloud Storage all'account di servizio Dataproc nel progetto.

Aggiunta di tag di rete

I tag di rete vengono conservati nei profili di computing quando esegui l'upgrade da Cloud Data Fusion versioni 6.2.x e successive a una versione superiore.

Se esegui l'upgrade dalla versione 6.1.x alla versione 6.2.0 e successive, i tag di rete non vengono conservati. Di conseguenza, il cluster Dataproc potrebbe rimanere bloccato nello stato di provisioning, soprattutto se il tuo ambiente ha criteri di rete e sicurezza restrittivi.

Invece, in ogni istanza aggiornata, aggiungi manualmente i tag di rete a ogni profilo di calcolo utilizzato.

Per aggiungere i tag di rete a un profilo di computing:

  1. Nella console Google Cloud, apri la pagina Istanze di Cloud Data Fusion.

  2. Fai clic su Visualizza istanza.

  3. Fai clic su System Admin (Amministratore di sistema).

  4. Fai clic sulla scheda Configuration (Configurazione).

  5. Espandi la casella Profili di calcolo di sistema.

  6. Fai clic su Crea nuovo profilo. Si apre una pagina di provisioner.

  7. Fai clic su Dataproc.

  8. Inserisci i dati del profilo che preferisci, inclusi i tag di rete.

  9. Fai clic su Crea.

Dopo aver aggiunto i tag, utilizza il profilo aggiornato nella tua pipeline. I nuovi tag vengono conservati nelle release future.

Versioni disponibili per l'upgrade

In generale, quando esegui l'upgrade, ti consigliamo di utilizzare la versione più recente dell'ambiente Cloud Data Fusion in modo che le istanze vengano eseguite in un ambiente supportato per il periodo di tempo più lungo possibile. Per ulteriori informazioni, consulta i criteri relativi al supporto delle versioni. A seconda della versione originale, alcuni upgrade potrebbero non essere disponibili. In questi casi, puoi eseguire l'upgrade a una versione che supporti l'upgrade alla versione che preferisci.

Cloud Data Fusion supporta i seguenti upgrade di versione:

La tua versione di Cloud Data Fusion Upgrade disponibili
6,7.2 6,8,0
6,7,1 6,7,2
6,7,0 6,7,2
6,6,0 6.7.2, 6.8.0
6,5,1 6.6.0, 6.7.2, 6.8.0
6,5,0 6,5
6,4.1 6.5.1, 6.6.0, 6.7.2, 6.8.0
6,4,0 6,4,1
6,3,1 6.4.1, 6.5.1, 6.6.0, 6.7.2, 6.8.0
6,3,0 6,4,1
6,2,3 6.4.1, 6.5.1, 6.6.0, 6.7.2, 6.8.0
6,2.2 6,2,3
6,2,1 6,2,3
6,2,0 6,2,3
6,1.4 6.4.1, 6.5.1, 6.6.0, 6.7.2, 6.8.0
6,1.3 6.1.4, 6.3.1
6,1.2 6,1,4

Risolvere i problemi

Quando esegui l'upgrade alla versione 6.4, si verifica un problema noto con il plug-in di joiner che non consente di visualizzare le condizioni di unione. Per ulteriori informazioni, consulta la pagina Risoluzione dei problemi.