Umgebungen mithilfe von Snapshots zu Cloud Composer 2 (von Airflow 2) migrieren

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird erläutert, wie Sie DAGs, Daten und Konfigurationen aus Ihren vorhandenen Cloud Composer 1-Umgebungen (Airflow 2) zu Cloud Composer 2 (Airflow 2) übertragen.

In dieser Migrationsanleitung wird die Funktion Snapshots verwendet.

Weitere Migrationsleitfäden

Von	Bis	Methode	Leitfaden
Cloud Composer 1, Airflow 2	Cloud Composer 2, Airflow 2	Nebeneinander, mit Snapshots	Dieses Handbuch (Snapshots)
Cloud Composer 1, Airflow 1	Cloud Composer 2, Airflow 2	Nebeneinander, mit Snapshots	Migrationsanleitung (Snapshots)
Cloud Composer 1, Airflow 2	Cloud Composer 2, Airflow 2	Manuelle Übertragung nebeneinander	Manuelle Migration
Cloud Composer 1, Airflow 1	Cloud Composer 2, Airflow 2	Manuelle Übertragung nebeneinander	Manuelle Migration
Airflow 1	Airflow 2	Manuelle Übertragung nebeneinander	Manuelle Migration

Hinweise

• Snapshots werden in Cloud Composer 2 Version 2.0.9 und höher unterstützt. Cloud Composer 1 unterstützt das Speichern von Umgebungs-Snapshots in Version 1.18.5.

• Cloud Composer unterstützt die parallele Migration von Cloud Composer 1 zu Cloud Composer 2. Es ist nicht möglich, ein direktes Upgrade von Cloud Composer 1 auf Cloud Composer 2 durchzuführen.

• Sehen Sie sich die Liste der Unterschiede zwischen Cloud Composer 1 und Cloud Composer 2.

• Die maximale Größe der Airflow-Datenbank, die Snapshots unterstützt, beträgt 20 GB. Wenn Ihrer Umgebung mehr als 20 GB benötigt, Reduzieren Sie die Größe der Airflow-Datenbank.

Schritt 1: DAGs in der Cloud Composer 1-Umgebung pausieren

Warnung :Wenn ein DAG in beiden Umgebungen aktiviert (nicht pausiert) ist, wird jeder -Umgebung nach Plan ihre eigene Kopie des DAG ausführt. Dies kann zu doppelte DAG-Ausführungen für dieselben Daten und dieselbe Ausführungszeit.

Pausieren Sie alle DAGs in Cloud Composer 1, um doppelte DAG-Ausführungen zu vermeiden. bevor Sie den Snapshot speichern.

Sie können eine der folgenden Optionen verwenden:

• Airflow-Weboberfläche Rufen Sie DAGs auf und halten Sie alle DAGs manuell an.

• Verwenden Sie das Skript composer_dags, um alle DAGs anzuhalten:

  python3 composer_dags.py --environment COMPOSER_1_ENV \
    --project PROJECT_ID \
    --location COMPOSER_1_LOCATION \
    --operation pause
  

  Ersetzen Sie:

  • COMPOSER_1_ENV durch den Namen der Cloud Composer 1-Umgebung.
  • PROJECT_ID durch die Projekt-ID.
  • COMPOSER_1_LOCATION durch die Region, in der sich die Umgebung befindet.

Schritt 2: Snapshot der Cloud Composer 1-Umgebung speichern

Achtung :In Ihrem Cloud Composer 1 werden Änderungen oder DAG-Ausführungen vorgenommen. nachdem Sie den Snapshot gespeichert haben, werden Informationen zu diesen Änderungen wenn Sie den Snapshot später laden.

Console

Erstellen Sie einen Snapshot Ihrer Umgebung:

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihres Cloud Composer 1-Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Klicken Sie auf Snapshot erstellen.

4. Klicken Sie im Dialogfeld Snapshot erstellen auf Senden. In in dieser Anleitung speichern Sie den Snapshot in der Cloud Composer 1-Umgebung. Bucket, aber Sie können bei Bedarf auch einen anderen Standort auswählen.

5. Warten Sie, bis Cloud Composer den Snapshot erstellt hat.

gcloud

1. Rufen Sie den Bucket-URI Ihrer Cloud Composer 1-Umgebung ab:

   1. Führen Sie dazu diesen Befehl aus:

      gcloud composer environments describe COMPOSER_1_ENV \
          --location COMPOSER_1_LOCATION \
           --format="value(config.dagGcsPrefix)"
      

      Ersetzen Sie:

      • COMPOSER_1_ENV durch den Namen Ihres Cloud Composer 1. zu verbessern.
      • COMPOSER_1_LOCATION durch die Region, in der sich die Umgebung befindet.

   2. Entfernen Sie in der Ausgabe den Ordner /dags. Das Ergebnis ist der URI von den Bucket Ihrer Cloud Composer 1-Umgebung.

      Ändern Sie beispielsweise gs://us-central1-example-916807e1-bucket/dags in gs://us-central1-example-916807e1-bucket.

2. Erstellen Sie einen Snapshot Ihrer Cloud Composer 1-Umgebung:

   gcloud composer environments snapshots save \
     COMPOSER_1_ENV \
     --location COMPOSER_1_LOCATION \
     --snapshot-location "COMPOSER_1_SNAPSHOTS_FOLDER"
   

   Ersetzen Sie:

   • COMPOSER_1_ENV durch den Namen der Cloud Composer 1-Umgebung.
   • COMPOSER_1_LOCATION durch die Region, in der sich die Cloud Composer 1-Umgebung befindet.
   • COMPOSER_1_SNAPSHOTS_FOLDER durch den URI von Cloud Composer 1. im Bucket der Umgebung. In dieser Anleitung speichern Sie den Snapshot in der Datei den Bucket der Cloud Composer 1-Umgebung, Sie können jedoch einen an einem anderen Ort. Wenn Sie einen benutzerdefinierten Standort angeben, müssen die Dienstkonten beider Umgebungen haben Lese- und Schreibberechtigungen für den angegebenen Speicherort.

Schritt 3: Cloud Composer 2-Umgebung erstellen

Erstellen Sie eine Cloud Composer 2-Umgebung. Sie können beginnen Sie mit einer Umgebungsvoreinstellung, die Ihren erwartete Ressourcenanforderungen und spätere Skalierung und Optimierung der Umgebung. weiter ausbauen.

Sie müssen nicht Konfigurationsüberschreibungen und Umgebungsvariablen angeben, da Sie wenn Sie den Snapshot Ihrer Cloud Composer 1-Umgebung laden.

Hinweis: Cloud Composer lädt Konfigurationsüberschreibungen, Umgebung Variablen und PyPI-Pakete von Ihrer Cloud Composer 1-Umgebung zu Cloud Composer 2, ohne sie zu ändern oder für Kompatibilität anzupassen. Wenn benutzerdefinierte PyPI-Pakete Abhängigkeitskonflikte verursachen, können Sie deren beim Laden des Snapshots.

Schritt 4: Snapshot in die Cloud Composer 2-Umgebung laden

Console

So laden Sie den Snapshot in Ihre Cloud Composer 2-Umgebung:

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihres Cloud Composer 2-Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Klicken Sie auf Snapshot laden.

4. Klicken Sie im Dialogfeld Snapshot laden auf Durchsuchen.

5. Wählen Sie den Ordner mit dem Snapshot aus. Wenn Sie den Standardspeicherort für dieser Anleitung, dieser Ordner befindet sich in Ihrer Cloud Composer 1-Umgebung Bucket im Ordner /snapshots und sein Name ist der Zeitstempel der Snapshot-Speichervorgang Beispiel: us-central1-example-916807e1-bucket/snapshots_example-project_us-central1_example-environment/2022-01-05T18-59-00

6. Klicken Sie auf Laden und warten Sie, bis Cloud Composer den Snapshot lädt.

gcloud

Snapshot der Cloud Composer 1-Umgebung in Ihr Cloud Composer 2-Umgebung:

gcloud composer environments snapshots load \
  COMPOSER_2_ENV \
  --location COMPOSER_2_LOCATION \
  --snapshot-path "SNAPSHOT_PATH"

Ersetzen Sie:

• COMPOSER_2_ENV durch den Namen der Cloud Composer 2-Umgebung.
• COMPOSER_2_LOCATION durch die Region, in der sich die Cloud Composer 2-Umgebung befindet.
• SNAPSHOT_PATH durch den URI von Cloud Composer 1. Bucket der Umgebung, gefolgt vom Pfad zum Snapshot. Beispiel: gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00

Schritt 5: Pausierung von DAGs in der Cloud Composer 2-Umgebung aufheben

Sie können eine der folgenden Optionen verwenden:

• Airflow-Weboberfläche Rufen Sie DAGs auf und heben Sie die Pausierung aller DAGs nacheinander auf.

• Heben Sie mit dem Skript composer_dags die Pausierung aller DAGs auf:

    python3 composer_dags.py --environment COMPOSER_2_ENV \
    --project PROJECT_ID \
    --location COMPOSER_2_LOCATION \
    --operation unpause
  

  Ersetzen Sie:

  • COMPOSER_2_ENV durch den Namen der Cloud Composer 2-Umgebung.
  • PROJECT_ID durch die Projekt-ID.
  • COMPOSER_2_LOCATION durch die Region, in der sich die Umgebung befindet.

Schritt 6: Auf DAG-Fehler prüfen

1. Wechseln Sie in der Airflow-Weboberfläche zu DAGs und suchen Sie nach gemeldeten DAG-Syntaxfehlern.

2. Prüfen Sie, ob DAG-Ausführungen zum richtigen Zeitpunkt geplant sind.

3. Warten Sie, bis die DAG-Ausführungen in der Cloud Composer 2-Umgebung erfolgt sind, und prüfen Sie, ob sie erfolgreich waren. Wenn eine DAG-Ausführung erfolgreich war, haben Sie ihre Pausierung in der Cloud Composer 1-Umgebung nicht auf. Andernfalls wird in der Cloud Composer 1-Umgebung ein DAG zur selben Zeit und am selben Datum ausgeführt.

4. Wenn die Ausführung eines bestimmten DAG fehlschlägt, versuchen Sie, Fehlerbehebung für den DAG, bis er erfolgreich ist wird in Cloud Composer 2 ausgeführt.

Schritt 7: Cloud Composer 2-Umgebung überwachen

Nachdem Sie alle DAGs und Konfigurationen in die Cloud Composer 2-Umgebung übertragen haben, überwachen Sie diese auf potenzielle Probleme, fehlgeschlagene DAG-Ausführungen und den allgemeinen Umgebungsstatus.

Wenn die Cloud Composer 2-Umgebung für einen ausreichend langen Zeitraum problemlos ausgeführt wird, sollten Sie die Cloud Composer 1-Umgebung vielleicht löschen.

Nächste Schritte

• Fehlerbehebung bei DAGs
• Fehlerbehebung beim Erstellen der Umgebung
• Fehlerbehebung bei Umgebungsupdates
• Backport-Pakete verwenden