Versionsupgrades für Instanzen und Pipelines verwalten

Auf dieser Seite wird beschrieben, wie Sie die Version Ihrer Instanzen oder Batchpipelines upgraden.

Aktualisieren Sie Ihre Cloud Data Fusion-Instanzen und Batchpipelines auf die neuesten Plattform- und Plug-in-Versionen, um die neuesten Funktionen, Fehlerkorrekturen und Leistungsverbesserungen zu erhalten.

Hinweise

  • Planen Sie eine geplante Ausfallzeit für das Upgrade. Der Vorgang kann bis zu einer Stunde dauern.
  • Aktivieren Sie Cloud Shell in der Google Cloud Console.

    Cloud Shell aktivieren

Beschränkungen

  • Nachdem Sie eine Cloud Data Fusion-Instanz erstellt haben, können Sie deren Version nicht mehr ändern, auch nicht durch einen Upgradevorgang.

  • Das Upgrade von Echtzeitpipelines wird nicht unterstützt, außer in Pipelines, die in Version 6.8.0 mit einer Kafka-Echtzeitquelle erstellt wurden. Eine Behelfslösung finden Sie unter Upgrade von Echtzeitpipelines.

  • Pipelines, die infolge des Upgradevorgangs beendet werden, werden von Cloud Data Fusion nicht neu gestartet.

Cloud Data Fusion-Instanzen aktualisieren

Rufen Sie die Seite Instanzdetails auf, um ein Upgrade einer Cloud Data Fusion-Instanz auf eine neue Cloud Data Fusion-Version durchzuführen:

  1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

  2. Klicken Sie auf Instanzen und dann auf den Namen der Instanz, um die Seite Instanzdetails aufzurufen.

    Zur Seite „VM-Instanzen“

Führen Sie dann das Upgrade über die Google Cloud Console oder die gcloud CLI aus:

Console

  1. Klicken Sie auf Upgrade, um eine Liste der verfügbaren Versionen aufzurufen.

  2. Wählen Sie eine Version aus.

  3. Klicken Sie auf Upgrade.

  4. Prüfen Sie, ob das Upgrade erfolgreich war:

    1. Aktualisieren Sie die Seite Instanzdetails.

    2. Klicken Sie auf Instanz anzeigen, um in der Cloud Data Fusion-Weboberfläche auf die aktualisierte Instanz zuzugreifen.

    3. Klicken Sie in der Menüleiste auf Systemadmin.

      Die neue Versionsnummer wird oben auf der Seite angezeigt.

  5. Damit Ihre Pipelines in der neuen Version nicht hängen bleiben, weisen Sie der aktualisierten Instanz die erforderlichen Rollen zu.

gcloud

  1. Führen Sie für ein Upgrade auf eine neue Cloud Data Fusion-Version den folgenden gcloud CLI-Befehl in einer lokalen Cloud Shell-Terminalsitzung aus:

    gcloud beta data-fusion instances update \
      --project= \
      --location= \
      --version=
    
  2. So prüfen Sie, ob das Upgrade erfolgreich war:

    1. Rufen Sie in der Google Cloud Console die Cloud Data Fusion-Seite Instanzen auf.

    2. Klicken Sie auf Instanz anzeigen, um in der Cloud Data Fusion-Weboberfläche auf die aktualisierte Instanz zuzugreifen.

    3. Klicken Sie in der Menüleiste auf System Admin (Systemadministrator).

      Die neue Versionsnummer wird oben auf der Seite angezeigt.

  3. Damit Ihre Pipelines in der neuen Version nicht hängen bleiben, weisen Sie der aktualisierten Instanz die erforderlichen Rollen zu.

Batch-Pipelines aktualisieren

So aktualisieren Sie Ihre Cloud Data Fusion-Batchpipelines auf die neuesten Plug-in-Versionen:

  1. Umgebungsvariablen festlegen

  2. Empfohlen: Sichern Sie alle Pipelines. Sie können Pipelines auf zwei Arten sichern:

    • So laden Sie die ZIP-Datei herunter:

      1. Sichern Sie alle Pipelines mit dem folgenden Befehl, um einen Download der ZIP-Datei auszulösen:
      echo $CDAP_ENDPOINT/v3/export/apps
      
      1. Kopieren Sie die ausgegebene URL in Ihren Browser.
      2. Extrahieren Sie die heruntergeladene Datei und prüfen Sie dann, ob alle Pipelines exportiert wurden. Die Pipelines sind nach Namespace organisiert.
    • Sichern Sie Pipelines mit der Source Control Management (SCM), die in Version 6.9 und höher verfügbar ist. SCM bietet eine GitHub-Integration, mit der Sie Pipelines sichern können.

  3. Führen Sie die folgenden Schritte aus, um ein Upgrade von Pipelines durchzuführen:

    1. Erstellen Sie eine Variable, die auf die Datei pipeline_upgrade.json verweist, die Sie im nächsten Schritt erstellen, um eine Liste der Pipelines zu speichern.

      export PIPELINE_LIST=PATH/pipeline_upgrade.json
      

      Ersetzen Sie PATH durch den Pfad zur Datei.

    2. Erstellen Sie mit dem folgenden Befehl eine Liste aller Pipelines für eine Instanz und einen Namespace. Das Ergebnis wird in der Datei $PIPELINE_LIST im Format JSON gespeichert. Sie können Pipelines, die keine Upgrades benötigen, aus der Liste entfernen.

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST
      

      Ersetzen Sie NAMESPACE_ID durch den Namespace, in dem das Upgrade stattfinden soll.

    3. Upgrade für die in pipeline_upgrade.json aufgeführten Pipelines ausführen Fügen Sie die NAMESPACE_ID der Pipelines ein, die aktualisiert werden sollen. Der Befehl zeigt eine Liste der aktualisierten Pipelines mit dem Upgradestatus an.

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST
      

      Ersetzen Sie NAMESPACE_ID durch die Namespace-ID der Pipelines, die aktualisiert werden.

  4. Damit Ihre Pipelines in der neuen Version nicht hängen bleiben, weisen Sie der aktualisierten Instanz die erforderlichen Rollen zu.

Echtzeitpipelines aktualisieren

Das Upgrade von Echtzeitpipelines wird nicht unterstützt, außer in Pipelines, die in Version 6.8.0 mit einer Kafka-Echtzeitquelle erstellt wurden.

Für alle anderen Schritte gehen Sie stattdessen so vor:

  1. Beenden und exportieren Sie die Pipelines.
  2. Führen Sie ein Upgrade der Instanz durch.
  3. Importieren Sie die Echtzeitpipelines in die aktualisierte Instanz.

Upgrade zur Aktivierung der Replikation

Die Replikation kann in Cloud Data Fusion-Umgebungen ab Version 6.3.0 aktiviert werden. Wenn Sie Version 6.2.3 haben, führen Sie ein Upgrade auf 6.3.0 und dann ein Upgrade auf die neueste Version durch. Anschließend können Sie die Replikation aktivieren.

Rollen für aktualisierte Instanzen zuweisen

Gewähren Sie nach Abschluss des Upgrades dem Dataproc-Dienstkonto in Ihrem Projekt die Rolle „Cloud Data Fusion-Runner“ (roles/datafusion.runner) und die Rolle „Cloud Storage-Administrator“ (roles/storage.admin).

Nächste Schritte