Versionsupgrades für Instanzen und Pipelines verwalten

Auf dieser Seite wird das Upgrade der Instanzen- oder Batch-Version beschrieben. Pipelines.

Cloud Data Fusion-Instanzen und Batchpipelines auf die neueste Version aktualisieren Plattform- und Plug-in-Versionen für die neuesten Funktionen, Fehlerkorrekturen und Leistung Verbesserungen.

Hinweise

  • Planen Sie eine geplante Ausfallzeit für das Upgrade. Dieser Vorgang kann bis zu einer Stunde dauern.

  • Aktivieren Sie Cloud Shell in der Google Cloud Console.

    Cloud Shell aktivieren

Beschränkungen

  • Nachdem Sie eine Cloud Data Fusion-Instanz erstellt haben, können Sie ihre Version, auch wenn ein Upgradevorgang ausgeführt wurde.

  • Upgrade von Echtzeit-Pipelines wird nicht unterstützt, außer in Pipelines, die erstellt wurden. in Version 6.8.0 mit einer Kafka-Echtzeitquelle. Eine Behelfslösung finden Sie unter Upgrades von Echtzeitpipelines durchführen

  • Cloud Data Fusion startet keine Pipelines neu, die aufgrund von mit dem Upgradevorgang beginnen.

Cloud Data Fusion-Instanzen aktualisieren

Upgrade einer Cloud Data Fusion-Instanz auf eine neue Cloud Data Fusion-Instanz rufen Sie die Seite Instanzdetails auf:

  1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

  2. Klicken Sie auf Instanzen und dann auf den Namen der Instanz, um die Seite Instanzdetails aufzurufen.

    Zur Seite „VM-Instanzen“

Führen Sie dann das Upgrade über die Google Cloud Console oder gcloud CLI:

Console

  1. Klicken Sie auf Upgrade, um eine Liste der verfügbaren Versionen aufzurufen.

  2. Version auswählen

  3. Klicken Sie auf Upgrade.

  4. Prüfen Sie, ob das Upgrade erfolgreich war:

    1. Aktualisieren Sie die Seite Instanzdetails.

    2. Klicken Sie auf Instanz ansehen, um auf die aktualisierte Instanz in der Weboberfläche von Cloud Data Fusion

    3. Klicken Sie in der Menüleiste auf Systemadmin.

      Die neue Versionsnummer wird oben auf der Seite angezeigt.

  5. Damit Ihre Pipelines nicht hängen bleiben, wenn Sie sie im neue Version haben, weisen Sie die erforderlichen Rollen im Upgrade zu Instanz.

gcloud

  1. Führen Sie folgenden Befehl aus, um ein Upgrade auf eine neue Cloud Data Fusion-Version durchzuführen: gcloud-Kommandozeilenbefehl von einem lokalen Terminal aus Cloud Shell-Sitzung:

      gcloud beta data-fusion instances update INSTANCE_ID \
    --project=PROJECT_ID \
    --location=LOCATION_NAME \
    --version=AVAILABLE_INSTANCE_VERSION

  2. So überprüfen Sie, ob das Upgrade erfolgreich war:

    1. Rufen Sie in der Google Cloud Console Cloud Data Fusion auf. Seite Instanzen.

    2. Klicken Sie auf Instanz ansehen, um auf die aktualisierte Instanz in der Weboberfläche von Cloud Data Fusion

    3. Klicken Sie in der Menüleiste auf System Admin.

      Die neue Versionsnummer wird oben auf der Seite angezeigt.

  3. Damit Ihre Pipelines nicht hängen bleiben, wenn Sie sie im neue Version haben, weisen Sie die erforderlichen Rollen im Upgrade zu Instanz.

Batch-Pipelines aktualisieren

So aktualisieren Sie Ihre Cloud Data Fusion-Batchpipelines auf die neuesten Plug-in-Versionen:

  1. Umgebungsvariablen festlegen

  2. Empfohlen: Sichern Sie alle Pipelines. Sie können Pipelines in einer der auf zwei Arten:

    • Laden Sie die ZIP-Datei so herunter:

      1. Um einen Download der ZIP-Datei auszulösen, sichern Sie alle Pipelines mit dem folgenden Befehl:
      echo $CDAP_ENDPOINT/v3/export/apps
      1. Kopieren Sie die URL-Ausgabe in Ihren Browser.
      2. Extrahieren Sie die heruntergeladene Datei und prüfen Sie dann, ob alle Pipelines wurden exportiert. Die Pipelines sind nach Namespace organisiert.

    • Pipelines mit Source Control Management sichern (SCM), verfügbar ab Version 6.9. SCM stellt GitHub Integration, mit der Sie Pipelines sichern können.

  3. Führen Sie die folgenden Schritte aus, um Pipelines zu aktualisieren:

    1. Erstellen Sie eine Variable, die auf die Datei pipeline_upgrade.json verweist, die die Sie im nächsten Schritt erstellen, um eine Liste der Pipelines zu speichern.

      export PIPELINE_LIST=PATH/pipeline_upgrade.json

      Ersetzen Sie PATH durch den Pfad zur Datei.

    2. Erstellen Sie eine Liste aller Pipelines für eine Instanz und einen Namespace mithilfe von mit dem folgenden Befehl. Das Ergebnis wird in der Datei $PIPELINE_LIST im Format JSON gespeichert. Sie können die Liste bearbeiten, um Pipelines zu entfernen, wenn Sie ein Upgrade benötigen.

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST

      Ersetzen Sie NAMESPACE_ID durch den Namespace, an dem sich der ein Upgrade durchzuführen.

    3. Upgrade für die in pipeline_upgrade.json aufgeführten Pipelines ausführen Fügen Sie die NAMESPACE_ID der Pipelines ein, die aktualisiert werden sollen. Der Befehl zeigt eine Liste der aktualisierten Pipelines mit dem Upgradestatus an.

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST

      Ersetzen Sie NAMESPACE_ID durch die Namespace-ID der Pipelines die gerade aktualisiert werden.

  4. Damit Ihre Pipelines nicht hängen bleiben, wenn Sie sie im neuen Version, weisen Sie die erforderlichen Rollen in der aktualisierten Instanz zu.

Echtzeit-Pipelines upgraden

Upgrades von Echtzeitpipelines werden nicht unterstützt, mit Ausnahme von Pipelines, die in Version 6.8.0 mit einer Kafka-Echtzeitquelle.

Für alle anderen Schritte gehen Sie stattdessen so vor:

  1. Beenden und exportieren Sie die Pipelines.
  2. Führen Sie ein Upgrade der Instanz durch.
  3. Echtzeitpipelines in die aktualisierte Instanz importieren

Upgrade zur Aktivierung der Replikation

Replikation kann in Cloud Data Fusion aktiviert werden ab Version 6.3.0. Wenn Sie Version 6.2.3 verwenden, führen Sie ein Upgrade auf 6.3.0 und führen Sie dann ein Upgrade auf die neueste Version durch. Anschließend können Sie die Replikation aktivieren.

Rollen für aktualisierte Instanzen zuweisen

Gewähren Sie nach Abschluss des Upgrades die Rolle „Cloud Data Fusion-Ausführer“ (roles/datafusion.runner) und Rolle „Cloud Storage-Administrator“ (roles/storage.admin) mit dem Dataproc-Dienstkonto in Ihrem Projekt.

Nächste Schritte