Umgebungs-Snapshots speichern und laden

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird erläutert, wie Sie den Status Ihrer Umgebung und Umgebungs-Snapshots.

Sie können Ihre Umgebung so konfigurieren, dass Snapshots automatisch gespeichert werden. Weitere Informationen Geplante Snapshots konfigurieren.

Informationen zu Umgebungs-Snapshots

In Umgebungs-Snapshots wird der Status Ihrer Umgebung gespeichert. Sie können speichern und wenn Sie Umgebungs-Snapshots bei Bedarf laden möchten.

Snapshots können für Folgendes verwendet werden:

  • Stellen Sie Ihre Umgebung in einen früheren Zustand wieder her. Erstellen Sie Sicherungen Ihrer mithilfe von Snapshots und laden Sie dann einen der Snapshots, um Ihre zu verbessern. Sie können beispielsweise einen Aktualisierungsvorgang rückgängig machen, bei dem PyPI-Pakete installiert oder Airflow-Konfigurationsoptionen überschrieben werden, auch nachdem die Umgebung erfolgreich aktualisiert wurde.

  • Sie können parallele Upgrades ausführen und Umgebungen kopieren. Erstellen Sie einen Snapshot einer vorhandenen Umgebung, erstellen Sie eine neue Umgebung, die dieselbe oder eine neuere Version von Cloud Composer verwendet, und wenden Sie den Snapshot dann auf diese neue Umgebung an. Dieser Vorgang ähnelt dem migrieren. Pausieren Sie DAGs, bevor erstellen Sie den Snapshot, um doppelte DAG-Ausführungen zu vermeiden.

So werden Snapshots gespeichert

Ein Umgebungs-Snapshot besteht aus einer Reihe von Dateien, die den Status Ihres und die Sicherung der Umgebungsdaten speichern.

Sie können mehrere Snapshots Ihrer Umgebung erstellen. Umgebungs-Snapshots sind nicht inkrementell. Sie können jeden Snapshot unabhängig von anderen Snapshots verwenden.

In Cloud Composer werden Snapshots nicht gelöscht, wenn Sie Ihre Umgebung löschen.

Cloud Composer speichert Snapshots standardmäßig im snapshots/ im Bucket Ihrer Umgebung. Sie können beim Erstellen eines Snapshots auch einen benutzerdefinierten Speicherort angeben.

Während in der Cloud Storage-UI Daten der Einfachheit halber als Ordner angezeigt werden, werden Buckets in einer flachen Dateistruktur arbeiten. Das ändert nichts daran, wie Sie Snapshots in der Google Cloud Console speichern und laden. Berücksichtigen Sie dies jedoch, wenn Sie Vorgänge direkt auf die Dateien in Ihrem Bucket ausführen. Weitere Informationen Siehe Objekt-Namespace.

Sicherheitsaspekte für Snapshots

Um dieses Sicherheitsrisiko zu minimieren, können Sie vertrauliche Informationen, die von Airflow-DAGs verwendet werden, z. B. Schlüssel oder Passwörter, in Secret Manager speichern. Weitere Informationen finden Sie unter Konfigurieren Sie Secret Manager für Ihre Umgebung.

Prüfen Sie unbedingt die Sicherheitsberechtigungen für den Bucket Ihrer Umgebung. Wenn Sie dass Sie Umgebungs-Snapshots in einem benutzerdefinierten Bucket speichern, Zugriffsberechtigungen entsprechend konfiguriert. Projekt arbeiten. Achten Sie beim Zuweisen von Berechtigungen darauf, die erforderlichen Berechtigungen hat, um Snapshots aus der Bucket.

Welche Daten werden in Snapshots gespeichert?

Cloud Composer speichert die folgenden Daten in Snapshots:

  • Airflow-Konfigurationsüberschreibungen.
  • Umgebungsvariablen
  • Liste der benutzerdefinierten PyPI-Pakete als Anforderungen.
  • Sicherung der Airflow-Datenbank, einschließlich Status ausgeführter Aufgaben und DAG ausgeführt wird.
  • Eine Sicherung der Ordner /dags, /data und /plugins aus dem Bucket der Umgebung.
  • Fernet-Schlüssel der Umgebung.
  • Weitere Informationen zur Umgebungskonfiguration, z. B. Skalierungs- und Leistungsparameter der Umgebung. Cloud Composer verwendet diese Informationen nicht, wenn Snapshots geladen werden.

Welche Daten werden aus Snapshots geladen?

Cloud Composer lädt die folgenden Daten aus Snapshots:

  • Airflow-Konfigurationsüberschreibungen.
  • Umgebungsvariablen.

  • Benutzerdefinierte PyPI-Pakete (sofern Sie die Installation nicht überspringen)

  • Der Inhalt der Airflow-Datenbank, einschließlich der Status der ausgeführten Aufgaben und der bisherige Verlauf der DAG-Ausführungen.

  • Inhalt der Ordner /dags, /data und /plugins aus dem Snapshot in den Bucket der Umgebung geladen.

  • Der Fernet-Schlüssel aus dem Snapshot wird verwendet, um die Daten aus dem einen Snapshot mit dem eigenen Fennet-Schlüssel der Umgebung. Der Fenett-Schlüssel des bleibt unverändert.

Cloud Composer speichert zwar einige Informationen zur Konfiguration der Umgebung in Snapshots, diese werden jedoch nicht beim Laden von Snapshots verwendet. Die folgenden Parameter Ihrer Umgebung ändern sich nicht, wenn Sie Snapshot laden:

  • Umgebungskonfiguration, z. B. Skalierungs- und Leistungsparameter der Umgebung
  • Die Netzwerkkonfiguration der Umgebung.
  • Inhalte des Umgebungs-Buckets außerhalb von /dags, /data und /plugins Ordner.
  • Umgebungslabels.

Alle Einstellungen, die Sie in der Cloud Composer-Infrastruktur ohne Verwendung der Cloud Composer API angewendet haben, gehen beim Laden eines Snapshots möglicherweise verloren.

Teilweise abgeschlossene Vorgänge

Wenn Sie einen Snapshot laden, kann der Vorgang erfolgreich, fehlgeschlagen oder teilweise abgeschlossen sein:

  • Bei erfolgreichen Vorgängen werden alle Daten aus dem Snapshot geladen.
  • Fehlgeschlagene Vorgänge führen zu keinen Änderungen.
  • Bei teilweise abgeschlossenen Vorgängen wird nur ein Teil der Daten aus dem Snapshot geladen. Ein solches Vorgänge werden als fehlgeschlagen gemeldet, in der Fehlermeldung wird jedoch angegeben, Daten wurden erfolgreich geladen. Wenn z. B. PyPI-Pakete installiert sind, aber die Überschreibungen der Airflow-Konfigurationsoptionen waren nicht erfolgreich, wird der Fehler gibt dies an.

Bei einem teilweise abgeschlossenen Vorgang können Sie versuchen, denselben Snapshot zu laden. noch einmal. Cloud Composer überspringt Schritte, die im vorherigen Versuch. Wenn beispielsweise ein Vorgang nach einer Zeitüberschreitung fehlschlägt, der Fehler erfolgreich geladen wurde, wird beim nächsten Versuch wieder in die Datenbank einfließen.

Hinweise

  • Snapshots werden in Cloud Composer 2 Version 2.0.9 und höher unterstützt. Cloud Composer 1 unterstützt das Speichern von Umgebungs-Snapshots für Versionen >= 1.18.5.

  • Mit Snapshots wird keine Umgebung erstellt. Wenn Sie einen Snapshot aus einer Umgebung in eine andere laden möchten, müssen Sie zuerst eine neue Umgebung erstellen und dann den Snapshot dorthin laden.

  • Sie können keine Snapshots in Umgebungen mit dem Status „Fehler“ laden. Es ist Solche Umgebungen können nicht durch das Laden eines Snapshots korrigiert werden. Sie können jedoch weiterhin einen vorhandenen Snapshot in eine neue Umgebung laden.

  • Snapshots können nur in derselben oder einer höheren Version von Cloud Composer oder Airflow geladen werden. Sie können beispielsweise keinen Snapshot aus Cloud Composer 2.0.2 in eine Umgebung mit Cloud Composer 2.0.1 laden. Außerdem können Sie keinen Snapshot von Airflow 2.2.3 in Airflow 2.1.4 laden.

  • Snapshots haben keine Auswirkungen auf die Cloud Composer-Version. Wenn Sie Ihre Umgebung auf eine neuere Cloud Composer-Version aktualisieren und dann einen Snapshot aus einer früheren Version laden, bleibt in Ihrer Umgebung die aktuelle Cloud Composer-Version erhalten. Wenn Sie beispielsweise einen Snapshot von Cloud Composer 2.0.1 in Cloud Composer 2.0.2 laden, wird die Umgebung nicht auf Cloud Composer 2.0.1 zurückgesetzt.

  • Die maximale Größe der Airflow-Datenbank, die Snapshots unterstützt, ist 20 GB. Wenn die Datenbank Ihrer Umgebung über 20 GB, Reduzieren Sie die Größe der Airflow-Datenbank, bevor Sie Snapshot.

  • Die Gesamtzahl der Objekte in den Ordnern /dags, /plugins und /data in der Bucket der Umgebung muss kleiner als 100.000 sein,um Erstellen von Snapshots

  • Die maximale Länge des Objektnamens im Bucket der Umgebung darf keine länger als 1024 Zeichen sind. Andernfalls können keine Snapshots erstellt werden.

  • Wenn Sie Snapshots an einem Speicherort außerhalb des Buckets Ihrer Umgebung speichern, muss das Dienstkonto Ihrer Umgebung Lese- und Schreibberechtigungen für den angegebenen Speicherort haben. Die Rolle Storage Object Admin hat beispielsweise solche Berechtigungen. Sie können sie auf ein Projekt oder einen bestimmten Bucket anwenden.

  • Das Erstellen und Speichern von Snapshots verursacht zusätzliche Kosten, die mit Cloud Storage zusammenhängen. Weitere Informationen finden Sie unter Preise.

Umgebungs-Snapshot speichern

Cloud Composer speichert Umgebungs-Snapshots in einem subfolder relativ zu dem von Ihnen angegebenen Ordner. Der Ordnername enthält die Projekt-ID, den Speicherort der Umgebung, Name der Umgebung und den Zeitstempel, an dem der Snapshot gespeichert wurde. Beispiel: /snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00.

Console

So erstellen Sie einen Snapshot Ihrer Umgebung:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Klicken Sie auf Snapshot speichern.

  4. Wählen Sie im Dialogfeld Snapshot speichern aus, wo der Snapshot gespeichert werden soll:

    • So speichern Sie den Snapshot im Ordner /snapshots der Umgebung: und wählen Sie Snapshot-Ordner im Umgebungs-Bucket verwenden (Standard).

    • Um den Snapshot im benutzerdefinierten Ordner zu speichern, wählen Sie Verwenden Sie den benutzerdefinierten Ordner in einem anderen Bucket und geben Sie dann einen Speicherort an.

  5. Klicken Sie auf Speichern.

gcloud

Mit dem Befehl gcloud beta composer environments snapshots save wird ein Snapshot Ihrer Umgebung gespeichert.

  • Mit dem Argument snapshot-location wird ein Ordner angegeben, in dem der Snapshot gespeichert wird. Standardmäßig werden Snapshots im Ordner /snapshots in Ihrem im Bucket der Umgebung. Beispiel: gs://us-central1-example-916807e1-bucket/snapshots. Sie können auch einen anderen Ordner angeben.

Führen Sie folgenden Befehl aus, um einen Snapshot Ihrer Umgebung zu speichern:

gcloud beta composer environments snapshots save \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --snapshot-location "SNAPSHOTS_FOLDER"

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.
  • LOCATION durch die Region, in der sich die Umgebung befindet.
  • (Optional) SNAPSHOTS_FOLDER durch den URI eines Bucket-Ordners, in dem gespeichert werden soll. der Momentaufnahme. Wenn Sie dieses Argument weglassen, speichert Cloud Composer Snapshot im Ordner /snapshots im Bucket Ihrer Umgebung

Im folgenden Beispiel wird der Standardspeicherort verwendet:

gcloud beta composer environments snapshots save \
  example-environment \
  --location us-central1

Im folgenden Beispiel wird in einem benutzerdefinierten Ordner gespeichert:

gcloud beta composer environments snapshots save \
  example-environment \
  --location us-central1 \
  --snapshot-location "gs://example-bucket/environment_snapshots"

API

  1. Erstellen Sie eine API-Anfrage environments.saveSnapshot.

  2. Geben Sie im Anfragetext im Feld snapshotLocation den Ordner an, in dem der Snapshot gespeichert werden soll.

{
  "snapshotLocation": "SNAPSHOTS_FOLDER"
}

Ersetzen Sie:

  • SNAPSHOTS_FOLDER durch den URI eines Bucket-Ordners, in dem der Snapshot gespeichert werden soll.

Beispiel:

// POST https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment:saveSnapshot

{
  "snapshotLocation": "gs://us-central1-example-916807e1-bucket/snapshots"
}

Terraform

Es ist nicht möglich, Umgebungs-Snapshots aus Terraform zu speichern und zu laden.

Das Speichern und Laden von Snapshots ist Aktionen, die in einer Umgebung ausgeführt werden. resultierende Snapshots sind nicht Teil der Definition einer Umgebung. Da Terraform nur die Konfiguration der Cloud Composer-Umgebung verwaltet, können Sie keine Umgebungs-Snapshots damit speichern oder daraus laden.

Umgebungs-Snapshot laden

Betrachten Sie die folgende Situation. Beispiel: catch-up ist aktiviert und Airflow führt einen DAG aus. nach einem Zeitplan zwischen dem Zeitpunkt der Erstellung des Snapshots und der Erstellung geladen. In diesem Fall hat Airflow nach dem Laden des Snapshots keine Informationen zur durchgeführten DAG-Ausführung. Daher führt Airflow den DAG noch einmal für dieselbe Uhrzeit und dieselben Daten aus.

Ein weiteres Beispiel ist ein DAG, der täglich ausgeführt wird. Sie nehmen eine einen Snapshot erstellen, führt Airflow diesen DAG aus. Danach laden Sie am selben Tag. In diesem Fall führt Airflow den DAG noch einmal aus, auch wenn die Funktion „Aufholen“ deaktiviert ist.

Console

So laden Sie einen Snapshot in Ihre Cloud Composer 2-Umgebung:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihres zu verbessern. Die Seite Umgebungsdetails wird geöffnet.

  3. Klicken Sie auf Snapshot laden.

  4. Klicken Sie im Dialogfeld Snapshot laden auf Durchsuchen.

  5. Wählen Sie einen Ordner aus, in dem der Snapshot gespeichert werden soll. Der Name des Ordners enthält die ID Ihres Projekts, den Speicherort der Umgebung und den Zeitstempel, zu dem der Snapshot gespeichert wurde. Beispiel: /snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00

  6. Optional: Wenn Sie die Installation benutzerdefinierter PyPI-Pakete aus dem Snapshot überspringen möchten, wählen Sie Installation von PyPI-Paketen überspringen aus. Wenn Sie eine Snapshot einer Umgebung mit installierter benutzerdefinierte PyPI-Pakete, installiert Cloud Composer diese benutzerdefinierten Pakete nicht.

  7. Klicken Sie auf Laden und warten Sie, bis Cloud Composer den Snapshot geladen hat.

gcloud

Mit dem Befehl gcloud beta composer environments snapshots load wird ein Snapshot in Ihre Umgebung geladen.

  • Das Argument --snapshot-path gibt einen Ordner an, in dem sich der Snapshot befindet befindet.

    Der Name des Ordners enthält die ID Ihres Projekts, den Speicherort der Umgebung und den Zeitstempel, zu dem der Snapshot gespeichert wurde. Beispiel: gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00

  • (Optional) Das Argument --skip-pypi-packages-installation überspringt das Argument Installation benutzerdefinierter PyPI-Pakete aus dem Snapshot. Wenn Sie eine Snapshot einer Umgebung mit installierter benutzerdefinierte PyPI-Pakete, installiert Cloud Composer diese benutzerdefinierten Pakete nicht.

gcloud beta composer environments snapshots load \
  DESTINATION_ENVIRONMENT_NAME \
  --location LOCATION \
  --snapshot-path "SNAPSHOT_PATH"

Ersetzen Sie:

  • DESTINATION_ENVIRONMENT_NAME durch den Namen der Umgebung, in die Sie den Snapshot laden möchten.
  • LOCATION durch die Region, in der sich die Umgebung befindet.
  • SNAPSHOT_PATH durch den URI eines Buckets gefolgt vom Pfad zum Snapshot.

Beispiel:

gcloud beta composer environments snapshots load \
  example-environment \
  --location us-central1 \
  --snapshot-path "gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00"

API

  1. Erstellen Sie eine API-Anfrage environments.loadSnapshot.

  2. Geben Sie im Anfragetext im Feld snapshotPath den URI eines Buckets gefolgt vom Pfad zum Snapshot an. Der Name enthält der Ordner die ID Ihres Projekts, den Speicherort der Umgebung und Zeitstempel, der angibt, wann der Snapshot gespeichert wurde. Beispiel: gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00

  3. Optional: Im Anfragetext im Feld skipPypiPackagesInstallation geben Sie an, ob Cloud Composer die Installation benutzerdefinierter PyPI-Pakete aus dem Snapshot. Wenn Sie eine Snapshot einer Umgebung mit installierter benutzerdefinierte PyPI-Pakete, installiert Cloud Composer diese benutzerdefinierten Pakete nicht.

    Dieses Feld ist optional. Wenn Sie dieses Feld weglassen, installiert Cloud Composer PyPI-Pakete aus dem Snapshot.

{
  "snapshotPath": "SNAPSHOT_PATH"
}

Ersetzen Sie:

  • SNAPSHOT_PATH durch den URI eines Bucket-Ordners, in dem Snapshot speichern.

Beispiel:

// POST https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment:loadSnapshot

{
  "snapshotPath": "gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00",
  "skipPypiPackagesInstallation": "False"
}

Terraform

Es ist nicht möglich, Umgebungs-Snapshots mit Terraform zu speichern und zu laden.

Das Speichern und Laden von Snapshots ist Aktionen, die in einer Umgebung ausgeführt werden. resultierende Snapshots sind nicht Teil der Definition einer Umgebung. Seit Terraform verwaltet nur die Konfiguration der Cloud Composer-Umgebung, können Sie keine Umgebungs-Snapshots speichern oder laden.

Nächste Schritte