In questa pagina viene descritto l'upgrade della versione delle istanze o delle pipeline in modalità batch.
Esegui l'upgrade delle tue istanze e delle tue pipeline batch di Cloud Data Fusion alla versione più recente della piattaforma e del plug-in per le ultime funzionalità, le correzioni di bug e i miglioramenti delle prestazioni.
Prima di iniziare
- Pianificare un tempo di inattività pianificato per l'upgrade. Il processo richiede fino a un'ora.
-
Nella console Google Cloud, attiva Cloud Shell.
Limitazioni
Dopo aver creato un'istanza di Cloud Data Fusion, non puoi cambiarne versione, anche tramite un'operazione di upgrade.
L'upgrade delle pipeline in tempo reale non è supportato, ad eccezione delle pipeline create nella versione 6.8.0 con un'origine Kafka in tempo reale. Per una soluzione alternativa, consulta Eseguire l'upgrade delle pipeline in tempo reale.
Cloud Data Fusion non riavvia le pipeline che si interrompono a seguito dell'operazione di upgrade.
Esegui l'upgrade delle istanze Cloud Data Fusion
Per eseguire l'upgrade di un'istanza di Cloud Data Fusion a una nuova versione di Cloud Data Fusion, vai alla pagina Dettagli istanza:
Nella console Google Cloud, vai alla pagina Cloud Data Fusion.
Fai clic su Istanze, quindi sul nome dell'istanza per andare alla pagina Dettagli istanza.
Quindi esegui l'upgrade utilizzando la console Google Cloud o gcloud CLI:
Console
Fai clic su Esegui l'upgrade per visualizzare un elenco delle versioni disponibili.
Seleziona una versione.
Fai clic su Esegui l'upgrade.
Verifica che l'upgrade sia riuscito:
Aggiorna la pagina Dettagli istanza.
Fai clic su Visualizza istanza per accedere all'istanza di cui è stato eseguito l'upgrade nell'interfaccia web di Cloud Data Fusion.
Fai clic su Amministratore di sistema nella barra dei menu.
Il nuovo numero di versione viene visualizzato nella parte superiore della pagina.
Per evitare che le pipeline rimangano bloccate quando le esegui nella nuova versione, concedi i ruoli richiesti nell'istanza di cui è stato eseguito l'upgrade.
gcloud
Per eseguire l'upgrade a una nuova versione di Cloud Data Fusion, esegui questo comando gcloud CLI da una sessione di Cloud Shell del terminale locale:
gcloud beta data-fusion instances update \ --project= \ --location= \ --version=
(Facoltativo) Se applicabile alla tua istanza, aggiungi i flag
--enable_stackdriver_logging
,--enable_stackdriver_monitoring
e--labels
.(Facoltativo) Puoi passare le proprietà CDAP, come
enable.unrecoverable.reset
, come--options
.
Verifica che l'upgrade sia riuscito seguendo questi passaggi:
Nella console Google Cloud, vai alla pagina Istanze di Cloud Data Fusion.
Fai clic su Visualizza istanza per accedere all'istanza di cui è stato eseguito l'upgrade nell'interfaccia web di Cloud Data Fusion.
Fai clic su Amministratore di sistema nella barra dei menu.
Il nuovo numero di versione viene visualizzato nella parte superiore della pagina.
Per evitare che le pipeline rimangano bloccate quando le esegui nella nuova versione, concedi i ruoli richiesti nell'istanza di cui è stato eseguito l'upgrade.
Esegui l'upgrade delle pipeline in modalità batch
Per eseguire l'upgrade delle pipeline batch di Cloud Data Fusion per utilizzare le versioni più recenti dei plug-in:
Opzione consigliata: esegui il backup di tutte le pipeline. Puoi eseguire il backup delle pipeline in due modi:
Scarica il file ZIP procedendo nel seguente modo:
- Per attivare il download di un file ZIP, esegui il backup di tutte le pipeline con il seguente comando:
echo $CDAP_ENDPOINT/v3/export/apps
- Copia l'output dell'URL nel browser.
- Estrai il file scaricato, quindi verifica che tutte le pipeline siano state esportate. Le pipeline sono organizzate per spazio dei nomi.
Esegui il backup delle pipeline utilizzando SCM (Source Control Management), disponibile a partire dalla versione 6.9. SCM offre l'integrazione GitHub che puoi usare per eseguire il backup delle pipeline.
Esegui l'upgrade delle pipeline seguendo questi passaggi:
Crea una variabile che indirizzi al file
pipeline_upgrade.json
che creerai nel passaggio successivo per salvare un elenco di pipeline.export PIPELINE_LIST=PATH/pipeline_upgrade.json
Sostituisci PATH con il percorso del file.
Crea un elenco di tutte le pipeline per un'istanza e uno spazio dei nomi utilizzando il seguente comando. Il risultato viene archiviato nel file
$PIPELINE_LIST
in formatoJSON
. Puoi modificare l'elenco per rimuovere le pipeline che non richiedono upgrade.curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST
Sostituisci NAMESPACE_ID con lo spazio dei nomi in cui vuoi che venga eseguito l'upgrade.
Esegui l'upgrade delle pipeline elencate in
pipeline_upgrade.json
. Inserisci il valore NAMESPACE_ID delle pipeline di cui eseguire l'upgrade. Il comando mostra un elenco di pipeline di cui è stato eseguito l'upgrade e il relativo stato dell'upgrade.curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST
Sostituisci NAMESPACE_ID con l'ID spazio dei nomi delle pipeline in fase di upgrade.
Per evitare che le pipeline rimangano bloccate quando le esegui nella nuova versione, concedi i ruoli richiesti nell'istanza di cui è stato eseguito l'upgrade.
Esegui l'upgrade delle pipeline in tempo reale
L'upgrade delle pipeline in tempo reale non è supportato, ad eccezione delle pipeline create nella versione 6.8.0 con un'origine Kafka in tempo reale.
Per tutto il resto, procedi nel seguente modo:
- Arresta ed esporta le pipeline.
- Esegui l'upgrade dell'istanza.
- Importa le pipeline in tempo reale nell'istanza di cui è stato eseguito l'upgrade.
Esegui l'upgrade per abilitare la replica
La replica può essere abilitata in ambienti Cloud Data Fusion versione 6.3.0 o successive. Se hai la versione 6.2.3, esegui l'upgrade alla versione 6.3.0, quindi esegui l'upgrade alla versione più recente. Quindi, puoi attivare la replica.
Concedi ruoli per le istanze di cui è stato eseguito l'upgrade
Al termine dell'upgrade, concedi il ruolo Esecutore Cloud Data Fusion
(roles/datafusion.runner
) e il
ruolo Amministratore Cloud Storage
(roles/storage.admin
) all'account di servizio Dataproc nel tuo
progetto.
Passaggi successivi
- Gestisci le revisioni delle patch per le istanze Cloud Data Fusion.
- Scopri di più sul controllo delle versioni in Cloud Data Fusion.
- Fai riferimento agli upgrade disponibili per versioni e revisioni delle patch.
- Risolvere i problemi relativi agli upgrade.