Versionsupgrades für Instanzen und Pipelines verwalten

Auf dieser Seite wird beschrieben, wie Sie die Version Ihrer Instanzen oder Batch-Pipelines aktualisieren.

Aktualisieren Sie Ihre Cloud Data Fusion-Instanzen und -Batchpipelines auf die neuesten Plattform- und Plug-in-Versionen, um die neuesten Funktionen, Fehlerkorrekturen und Leistungsverbesserungen zu erhalten.

Hinweis

  • Planen Sie eine geplante Ausfallzeit für das Upgrade. Der Vorgang dauert bis zu einer Stunde.

  • In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

Beschränkungen

  • Nachdem Sie eine Cloud Data Fusion-Instanz erstellt haben, können Sie die Version nicht mehr ändern, auch nicht durch ein Upgrade.

  • Lösen Sie kein Upgrade mit Terraform aus, da die Instanz gelöscht und neu erstellt wird, anstatt ein direktes Upgrade durchzuführen. Dadurch gehen alle vorhandenen Daten in der Instanz verloren.

  • Das Upgrade von Echtzeit-Pipelines wird nicht unterstützt, mit Ausnahme von Pipelines, die in Version 6.8.0 mit einer Kafka-Echtzeitquelle erstellt wurden. Eine Problemumgehung finden Sie unter Echtzeit-Pipelines aktualisieren.

  • Pipelines, die aufgrund des Upgrades gestoppt werden, werden in Cloud Data Fusion nicht neu gestartet.

Cloud Data Fusion-Instanzen aktualisieren

Wenn Sie eine Cloud Data Fusion-Instanz auf eine neue Cloud Data Fusion-Version aktualisieren möchten, rufen Sie die Seite Instanzdetails auf:

  1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

  2. Klicken Sie auf Instanzen und dann auf den Namen der Instanz, um die Seite Instanzdetails aufzurufen.

    Zur Seite „VM-Instanzen“

Führen Sie dann das Upgrade mithilfe der Google Cloud Console oder der gcloud CLI durch:

Console

  1. Klicken Sie auf Upgrade, um eine Liste der verfügbaren Versionen aufzurufen.

  2. Version auswählen

  3. Klicken Sie auf Upgrade.

  4. Prüfen Sie, ob das Upgrade erfolgreich war:

    1. Aktualisieren Sie die Seite Instanzdetails.

    2. Klicken Sie auf Instanz aufrufen, um in der Cloud Data Fusion-Weboberfläche auf die aktualisierte Instanz zuzugreifen.

    3. Klicken Sie in der Menüleiste auf Systemadministrator.

      Die neue Versionsnummer wird oben auf der Seite angezeigt.

  5. Damit Ihre Pipelines nicht hängen bleiben, wenn Sie sie in der neuen Version ausführen, weisen Sie die erforderlichen Rollen in der aktualisierten Instanz zu.

gcloud

  1. Führen Sie in einer lokalen Cloud Shell-Sitzung den folgenden gcloud-Befehl aus, um ein Upgrade auf eine neue Cloud Data Fusion-Version durchzuführen:

      gcloud beta data-fusion instances update INSTANCE_ID \
    --project=PROJECT_ID \
    --location=LOCATION_NAME \
    --version=AVAILABLE_INSTANCE_VERSION

  2. So prüfen Sie, ob das Upgrade erfolgreich war:

    1. Rufen Sie in der Google Cloud Console die Seite Cloud Data Fusion-Instanzen auf.

    2. Klicken Sie auf Instanz aufrufen, um in der Cloud Data Fusion-Weboberfläche auf die aktualisierte Instanz zuzugreifen.

    3. Klicken Sie in der Menüleiste auf Systemadministrator.

      Die neue Versionsnummer wird oben auf der Seite angezeigt.

  3. Damit Ihre Pipelines nicht hängen bleiben, wenn Sie sie in der neuen Version ausführen, weisen Sie die erforderlichen Rollen in der aktualisierten Instanz zu.

Batch-Pipelines aktualisieren

So aktualisieren Sie Ihre Cloud Data Fusion-Batchpipelines auf die neuesten Plug-in-Versionen:

  1. Umgebungsvariablen festlegen

  2. Empfohlen:Sichern Sie alle Pipelines. Sie haben zwei Möglichkeiten, Pipelines zu sichern:

    • So laden Sie die ZIP-Datei herunter:

      1. Wenn Sie einen Download einer ZIP-Datei auslösen möchten, sichern Sie alle Pipelines mit dem folgenden Befehl:
      echo $CDAP_ENDPOINT/v3/export/apps
      1. Kopieren Sie die URL-Ausgabe in Ihren Browser.
      2. Entpacken Sie die heruntergeladene Datei und prüfen Sie, ob alle Pipelines exportiert wurden. Die Pipelines sind nach Namespace organisiert.

    • Pipelines mithilfe der Quellcodeverwaltung (SCM) sichern, verfügbar ab Version 6.9 SCM bietet eine GitHub-Integration, mit der Sie Pipelines sichern können.

  3. So aktualisieren Sie Pipelines:

    1. Erstellen Sie eine Variable, die auf die Datei pipeline_upgrade.json verweist. Diese Datei erstellen Sie im nächsten Schritt, um eine Liste von Pipelines zu speichern.

      export PIPELINE_LIST=PATH/pipeline_upgrade.json

      Ersetzen Sie PATH durch den Pfad zur Datei.

    2. Erstellen Sie mit dem folgenden Befehl eine Liste aller Pipelines für eine Instanz und einen Namespace. Das Ergebnis wird in der Datei $PIPELINE_LIST im Format JSON gespeichert. Sie können die Liste bearbeiten, um Pipelines zu entfernen, die nicht aktualisiert werden müssen.

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST

      Ersetzen Sie NAMESPACE_ID durch den Namespace, in dem das Upgrade ausgeführt werden soll.

    3. Upgrade für die in pipeline_upgrade.json aufgeführten Pipelines ausführen Fügen Sie die NAMESPACE_ID der Pipelines ein, die aktualisiert werden sollen. Der Befehl zeigt eine Liste der aktualisierten Pipelines mit dem Upgradestatus an.

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST

      Ersetzen Sie NAMESPACE_ID durch die Namespace-ID der Pipelines, die aktualisiert werden.

  4. Damit Ihre Pipelines nicht hängen bleiben, wenn Sie sie in der neuen Version ausführen, weisen Sie die erforderlichen Rollen in der aktualisierten Instanz zu.

Echtzeit-Pipelines aktualisieren

Das Upgrade von Echtzeit-Pipelines wird nicht unterstützt, mit Ausnahme von Pipelines, die in Version 6.8.0 mit einer Kafka-Echtzeitquelle erstellt wurden.

In allen anderen Fällen gehen Sie so vor:

  1. Beenden und exportieren Sie die Pipelines.
  2. Führen Sie ein Upgrade der Instanz aus.
  3. Importieren Sie die Echtzeit-Pipelines in die aktualisierte Instanz.

Upgrade zur Aktivierung der Replikation

Die Replikation kann in Cloud Data Fusion-Umgebungen ab Version 6.3.0 aktiviert werden. Wenn Sie Version 6.2.3 haben, führen Sie ein Upgrade auf Version 6.3.0 und dann auf die neueste Version durch. Sie können dann die Replikation aktivieren.

Rollen für aktualisierte Instanzen zuweisen

Weisen Sie nach Abschluss des Upgrades dem Dataproc-Dienstkonto in Ihrem Projekt die Rolle Cloud Data Fusion-Runner (roles/datafusion.runner) und die Rolle Cloud Storage-Administrator (roles/storage.admin) zu.

Nächste Schritte