Gestisci gli upgrade della versione per istanze e pipeline

Questa pagina descrive l'upgrade della versione delle istanze o del batch pipeline di dati.

Esegui l'upgrade alla versione più recente di istanze e pipeline batch di Cloud Data Fusion le versioni della piattaforma e dei plug-in per le ultime funzionalità, correzioni di bug e prestazioni miglioramenti.

Prima di iniziare

  • Pianificare un tempo di inattività pianificato per l'upgrade. Il processo può richiedere fino a un'ora.

  • Nella console Google Cloud, attiva Cloud Shell.

    Attiva Cloud Shell

Limitazioni

  • Dopo aver creato un'istanza Cloud Data Fusion, non puoi modificarne anche tramite un'operazione di upgrade.

  • L'upgrade delle pipeline in tempo reale non è supportato, ad eccezione delle pipeline create nella versione 6.8.0 con un'origine in tempo reale Kafka. Per una soluzione alternativa, vedi Esegui l'upgrade delle pipeline in tempo reale.

  • Cloud Data Fusion non riavvia le pipeline che si arrestano a causa di l'operazione di upgrade.

Esegui l'upgrade delle istanze Cloud Data Fusion

Per eseguire l'upgrade di un'istanza Cloud Data Fusion a una nuova istanza Cloud Data Fusion vai alla pagina Dettagli istanza:

  1. Nella console Google Cloud, vai alla pagina Cloud Data Fusion.

  2. Fai clic su Istanze, quindi sul nome dell'istanza per andare alla pagina Dettagli istanza.

    Vai a Istanze

Poi esegui l'upgrade utilizzando la console Google Cloud oppure gcloud CLI:

Console

  1. Fai clic su Esegui l'upgrade per visualizzare un elenco delle versioni disponibili.

  2. Seleziona una versione.

  3. Fai clic su Esegui l'upgrade.

  4. Verifica che l'upgrade sia andato a buon fine:

    1. Aggiorna la pagina Dettagli istanza.

    2. Fai clic su Visualizza istanza per accedere all'istanza di cui è stato eseguito l'upgrade nella Interfaccia web di Cloud Data Fusion.

    3. Fai clic su Amministratore di sistema nella barra dei menu.

      Il nuovo numero di versione viene visualizzato nella parte superiore della pagina.

  5. Per evitare che le pipeline si blocchino quando le esegui nuova versione, concedi i ruoli richiesti nella versione di cui è stato eseguito l'upgrade in esecuzione in un'istanza Compute Engine.

gcloud

  1. Per eseguire l'upgrade a una nuova versione di Cloud Data Fusion, esegui questo comando: Comando gcloud CLI da un terminale locale Sessione Cloud Shell:

      gcloud beta data-fusion instances update INSTANCE_ID \
    --project=PROJECT_ID \
    --location=LOCATION_NAME \
    --version=AVAILABLE_INSTANCE_VERSION

  2. Verifica che l'upgrade sia andato a buon fine seguendo questa procedura:

    1. Nella console Google Cloud, vai a Cloud Data Fusion nella pagina Istanze.

    2. Fai clic su Visualizza istanza per accedere all'istanza di cui è stato eseguito l'upgrade nella Interfaccia web di Cloud Data Fusion.

    3. Fai clic su Amministratore di sistema nella barra dei menu.

      Il nuovo numero di versione viene visualizzato nella parte superiore della pagina.

  3. Per evitare che le pipeline si blocchino quando le esegui nuova versione, concedi i ruoli richiesti nella versione di cui è stato eseguito l'upgrade in esecuzione in un'istanza Compute Engine.

Esegui l'upgrade delle pipeline in modalità batch

Per eseguire l'upgrade delle pipeline batch di Cloud Data Fusion in modo che utilizzino la versione più recente versioni dei plug-in:

  1. Imposta le variabili di ambiente.

  2. Consigliato: esegui il backup di tutte le pipeline. Puoi eseguire il backup delle pipeline in uno dei seguenti in due modi:

    • Scarica il file ZIP procedendo nel seguente modo:

      1. Per attivare il download di un file ZIP, esegui il backup di tutte le pipeline con seguente comando:
      echo $CDAP_ENDPOINT/v3/export/apps
      1. Copia l'output dell'URL nel tuo browser.
      2. Estrai il file scaricato e verifica che tutte le pipeline siano state esportato. Le pipeline sono organizzate per spazio dei nomi.

    • Eseguire il backup delle pipeline utilizzando Gestione del controllo del codice sorgente (SCM), disponibile nella versione 6.9 e successive. SCM fornisce GitHub per il backup delle pipeline.

  3. Esegui l'upgrade delle pipeline seguendo questi passaggi:

    1. Crea una variabile che indirizzi al file pipeline_upgrade.json che che creerai nel passaggio successivo per salvare un elenco di pipeline.

      export PIPELINE_LIST=PATH/pipeline_upgrade.json

      Sostituisci PATH con il percorso del file.

    2. Crea un elenco di tutte le pipeline per un'istanza e uno spazio dei nomi utilizzando il comando seguente. Il risultato viene archiviato nel file $PIPELINE_LIST nel formato JSON. Puoi modificare l'elenco per rimuovere pipeline che non richiedono upgrade.

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST

      Sostituisci NAMESPACE_ID con lo spazio dei nomi in cui vuoi che che l'upgrade venga eseguito.

    3. Esegui l'upgrade delle pipeline elencate in pipeline_upgrade.json. Inserisci NAMESPACE_ID delle pipeline di cui eseguire l'upgrade. Il comando mostra un elenco di pipeline di cui è stato eseguito l'upgrade con il relativo upgrade .

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST

      Sostituisci NAMESPACE_ID con l'ID dello spazio dei nomi delle pipeline di cui viene eseguito l'upgrade.

  4. Per evitare che le pipeline si blocchino quando le esegui nel nuovo della versione, concedi i ruoli richiesti nell'istanza di cui è stato eseguito l'upgrade.

Esegui l'upgrade delle pipeline in tempo reale

L'upgrade delle pipeline in tempo reale non è supportato, ad eccezione delle pipeline create in versione 6.8.0 con un'origine Kafka in tempo reale.

Per tutto il resto, devi:

  1. Arresta ed esporta le pipeline.
  2. Esegui l'upgrade dell'istanza.
  3. Importa le pipeline in tempo reale nell'istanza di cui è stato eseguito l'upgrade.

Esegui l'upgrade per abilitare la replica

La replica può essere abilitata in Cloud Data Fusion ambienti nella versione 6.3.0 o successive. Se hai la versione 6.2.3, esegui l'upgrade a 6.3.0, quindi aggiornalo alla versione più recente. A questo punto, puoi abilitare la replica.

Concedi ruoli per le istanze di cui è stato eseguito l'upgrade

Al termine dell'upgrade, concedi Ruolo Runner di Cloud Data Fusion (roles/datafusion.runner) e Ruolo Amministratore Cloud Storage (roles/storage.admin) all'account di servizio Dataproc nel tuo progetto.

Passaggi successivi