Umgebungs-Snapshots speichern und laden

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird erläutert, wie Sie den Status Ihrer Umgebung und Umgebungs-Snapshots.

Sie können Ihre Umgebung so konfigurieren, dass Snapshots automatisch gespeichert werden. Weitere Informationen Geplante Snapshots konfigurieren.

Informationen zu Umgebungs-Snapshots

In Umgebungs-Snapshots wird der Status Ihrer Umgebung gespeichert. Sie können wenn Sie Umgebungs-Snapshots bei Bedarf laden möchten.

Snapshots können für Folgendes verwendet werden:

• Migrieren Sie Ihre Umgebungen zu einer späteren Hauptversion. Version von Composer oder Airflow.

So werden Snapshots gespeichert

Ein Umgebungs-Snapshot besteht aus einer Reihe von Dateien, die den Status Ihres und die Sicherung der Umgebungsdaten speichern.

Sie können mehrere Snapshots Ihrer Umgebung erstellen. Umgebungs-Snapshots sind nicht inkrementell. Sie können jeden Snapshot unabhängig von anderen Snapshots verwenden.

Cloud Composer löscht keine Snapshots, wenn Sie Ihr zu verbessern.

Cloud Composer speichert Snapshots standardmäßig im snapshots/ im Bucket Ihrer Umgebung. Sie können auch einen benutzerdefinierten Standort angeben wenn Sie einen Snapshot erstellen.

Während in der Cloud Storage-UI Daten der Einfachheit halber als Ordner angezeigt werden, werden Buckets in einer flachen Dateistruktur arbeiten. Dies ändert nichts daran, wie Sie in der Google Cloud Console laden. Denken Sie aber daran, Vorgänge direkt für die Dateien im Bucket ausführen Weitere Informationen Siehe Objekt-Namespace.

Sicherheitsaspekte für Snapshots

Warnung: Der Fernet-Schlüssel Ihrer Umgebung wurde gespeichert. mit der Sicherung der Airflow-Datenbank. Das bedeutet, dass sensible Informationen wie Airflow-Verbindungsextras und Passwörter können entschlüsselt werden. aus einem Umgebungs-Snapshot.

Speichern Sie vertrauliche Informationen, um dieses Sicherheitsrisiko zu minimieren. der von Airflow-DAGs wie Schlüsseln oder Passwörtern in Secret Manager Weitere Informationen finden Sie unter Konfigurieren Sie Secret Manager für Ihre Umgebung.

Prüfen Sie unbedingt die Sicherheitsberechtigungen für den Bucket Ihrer Umgebung. Wenn Sie dass Sie Umgebungs-Snapshots in einem benutzerdefinierten Bucket speichern, Zugriffsberechtigungen entsprechend konfiguriert. Projekt arbeiten. Achten Sie beim Zuweisen von Berechtigungen darauf, die erforderlichen Berechtigungen hat, um Snapshots aus der Bucket.

Welche Daten werden in Snapshots gespeichert?

Cloud Composer speichert die folgenden Daten in Snapshots:

• Airflow-Konfigurationsüberschreibungen.
• Umgebungsvariablen.
• Liste benutzerdefinierter PyPI-Pakete als Anforderungen.
• Sicherung der Airflow-Datenbank, einschließlich Status ausgeführter Aufgaben und DAG ausgeführt wird.
• Eine Sicherung der Ordner /dags, /data und /plugins aus dem im Bucket der Umgebung.
• Den Fernet-Schlüssel der Umgebung.
• Weitere Informationen zur Umgebungskonfiguration, z. B. Skalierungs- und Leistungsparameter der Umgebung. Cloud Composer verwendet diese Informationen beim Laden nicht Snapshots.

Welche Daten werden aus Snapshots geladen?

Cloud Composer lädt die folgenden Daten aus Snapshots:

• Airflow-Konfigurationsüberschreibungen.
• Umgebungsvariablen.

• Benutzerdefinierte PyPI-Pakete (es sei denn, Sie überspringen ihre Installation).

  Achtung: Cloud Composer installiert Pakete so, wie sie angegeben sind. in den Anforderungen. Beispiel: Wenn ein Snapshot example_package>=1.0 enthält, kann eine andere Paketversion installiert werden, wenn Sie den Snapshot laden.

• den Inhalt der Airflow-Datenbank, einschließlich des Status der ausgeführten Aufgaben und DAG-Ausführungsverlauf.

• Inhalt der Ordner /dags, /data und /plugins aus dem Snapshot in den Bucket der Umgebung geladen.

• Der Fernet-Schlüssel aus dem Snapshot wird verwendet, um die Daten aus dem einen Snapshot mit dem eigenen Fennet-Schlüssel der Umgebung. Der Fenett-Schlüssel des bleibt unverändert.

Obwohl Cloud Composer einige Informationen zur Konfiguration der Umgebung in Snapshots gespeichert ist, wird sie beim Laden Snapshots. Die folgenden Parameter Ihrer Umgebung ändern sich nicht, wenn Sie Snapshot laden:

• Umgebungskonfiguration, z. B. Umgebungsskalierung und -leistung Parameter.
• Die Netzwerkkonfiguration der Umgebung.
• Inhalte des Umgebungs-Buckets außerhalb von /dags, /data und /plugins Ordner.
• Umgebungslabels.

Alle Einstellungen, die Sie in der Cloud Composer-Infrastruktur angewendet haben ohne die Cloud Composer API kann beim Laden eines Snapshot.

Teilweise abgeschlossene Vorgänge

Beim Laden eines Snapshots kann der Vorgang erfolgreich, fehlgeschlagen oder teilweise sein Abgeschlossen:

• Bei erfolgreichen Vorgängen werden alle Daten aus dem Snapshot geladen.
• Fehlgeschlagene Vorgänge bringen keine Änderungen mit sich.
• Bei teilweise abgeschlossenen Vorgängen wird eine Teilmenge der Daten aus dem Snapshot geladen. Ein solches Vorgänge werden als fehlgeschlagen gemeldet, in der Fehlermeldung wird jedoch angegeben, Daten wurden erfolgreich geladen. Wenn z. B. PyPI-Pakete installiert sind, aber die Überschreibungen der Airflow-Konfigurationsoptionen waren nicht erfolgreich, wird der Fehler zeigt dies an.

Bei einem teilweise abgeschlossenen Vorgang können Sie versuchen, denselben Snapshot zu laden. noch einmal. Cloud Composer überspringt Schritte, die im vorherigen Versuch. Wenn beispielsweise ein Vorgang nach einer Zeitüberschreitung fehlschlägt, der Fehler erfolgreich geladen wurde, wird beim nächsten Versuch wieder in die Datenbank einfließen.

Hinweise

• In Cloud Composer 1 können Sie Snapshots nur speichern, aber nicht laden. Sie können Snapshots aus einer Cloud Composer 1-Umgebung in Cloud Composer 2 laden Umgebungen.

• Snapshots werden in Cloud Composer 2 Version 2.0.9 und höher unterstützt. Cloud Composer 1 unterstützt das Speichern von Umgebungs-Snapshots ab Version 1.18.5.

• Snapshots erstellen keine Umgebung. Wenn Sie einen Snapshot aus einer in einer anderen Umgebung verwenden möchten, müssen Sie zuerst eine neue und laden Sie dann den Snapshot in diese.

• Sie können keine Snapshots in Umgebungen mit dem Status „Fehler“ laden. Es ist Solche Umgebungen können nicht durch das Laden eines Snapshots korrigiert werden. Sie können immer noch einen vorhandenen Snapshot in eine neue Umgebung laden.

• Snapshots können nur in die gleiche oder eine höhere Version von Cloud Composer oder Airflow. Sie können beispielsweise keine Snapshot von Cloud Composer 2.0.2 in eine Umgebung mit Cloud Composer 2.0.1. Außerdem können Sie keinen Snapshot von Airflow 2.2.3 in Airflow 2.1.4 laden.

• Snapshots haben keine Auswirkungen auf die Cloud Composer-Version. Wenn führen Sie ein Upgrade Ihrer Umgebung auf eine neuere Version des Cloud Composer und laden Sie dann einen Snapshot von einer früheren Version. behält Ihre Umgebung weiterhin ihre aktuelle Version Cloud Composer Wenn Sie z. B. einen Snapshot aus einer Cloud Composer 2.0.1 zu Cloud Composer 2.0.2 ändert sich nicht die Umgebung auf Cloud Composer 2.0.1 zurücksetzen.

• Die maximale Größe der Airflow-Datenbank, die Snapshots unterstützt, ist 20 GB. Wenn die Datenbank Ihrer Umgebung mehr als 20 GB benötigt, Reduzieren Sie die Größe der Airflow-Datenbank, bevor Sie Snapshot.

• Die maximale Länge des Namens eines Objekts im Bucket der Umgebung darf nicht länger als 1024 Zeichen sind. Andernfalls können keine Snapshots erstellt werden.

• Wenn Sie Snapshots an einem Speicherort außerhalb des Bucket, muss das Dienstkonto Ihrer Umgebung Lese- und Schreibberechtigungen für den angegebenen Speicherort. Beispiel: Der Parameter Die Rolle Storage-Objekt-Administrator verfügt über solche Berechtigungen. Ich auf ein Projekt oder einen bestimmten Bucket anwenden können.

• Das Erstellen und Speichern von Snapshots ist mit zusätzlichen Kosten verbunden, die mit der zu Cloud Storage hinzufügen. Weitere Informationen finden Sie unter Preise.

Umgebungs-Snapshot speichern

Cloud Composer speichert Umgebungs-Snapshots in einem subfolder relativ zu dem von Ihnen angegebenen Ordner. Der Ordnername enthält die Projekt-ID, den Speicherort der Umgebung, Name der Umgebung und den Zeitstempel, an dem der Snapshot gespeichert wurde. Beispiel: /snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00.

Console

So erstellen Sie einen Snapshot Ihrer Umgebung:

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Klicken Sie auf Snapshot speichern.

4. Wählen Sie im Dialogfeld Snapshot speichern aus, wo der Snapshot gespeichert werden soll:

   • So speichern Sie den Snapshot im Ordner /snapshots der Umgebung: und wählen Sie Snapshot-Ordner im Umgebungs-Bucket verwenden (Standard).

   • Um den Snapshot im benutzerdefinierten Ordner zu speichern, wählen Sie Verwenden Sie den benutzerdefinierten Ordner in einem anderen Bucket und geben Sie dann einen Speicherort an.

5. Klicken Sie auf Speichern.

gcloud

Mit dem Befehl gcloud beta composer environments snapshots save wird ein Snapshot Ihrer Umgebung gespeichert.

• Das Argument snapshot-location gibt einen Ordner an, in dem sich der Snapshot befindet gespeichert. Standardmäßig werden Snapshots im Ordner /snapshots in Ihrem im Bucket der Umgebung. Beispiel: gs://us-central1-example-916807e1-bucket/snapshots. Sie können auch angeben, in einem anderen Ordner.

Führen Sie folgenden Befehl aus, um einen Snapshot Ihrer Umgebung zu speichern:

gcloud beta composer environments snapshots save \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --snapshot-location "SNAPSHOTS_FOLDER"

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• LOCATION durch die Region, in der sich die Umgebung befindet.
• (Optional) SNAPSHOTS_FOLDER durch den URI eines Bucket-Ordners, in dem gespeichert werden soll. der Momentaufnahme. Wenn Sie dieses Argument weglassen, speichert Cloud Composer Snapshot im Ordner /snapshots im Bucket Ihrer Umgebung

Im folgenden Beispiel wird der Standardspeicherort verwendet:

gcloud beta composer environments snapshots save \
  example-environment \
  --location us-central1

Im folgenden Beispiel wird die Datei in einem benutzerdefinierten Ordner gespeichert:

gcloud beta composer environments snapshots save \
  example-environment \
  --location us-central1 \
  --snapshot-location "gs://example-bucket/environment_snapshots"

API

1. Erstellen Sie eine API-Anfrage environments.saveSnapshot.

2. Geben Sie im Anfragetext im Feld snapshotLocation an, Ordner, in dem Sie den Snapshot speichern möchten.

{
  "snapshotLocation": "SNAPSHOTS_FOLDER"
}

Ersetzen Sie:

• SNAPSHOTS_FOLDER durch den URI eines Bucket-Ordners, in dem um den Snapshot zu speichern.

Beispiel:

// POST https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment:saveSnapshot

{
  "snapshotLocation": "gs://us-central1-example-916807e1-bucket/snapshots"
}

Terraform

Es ist nicht möglich, Umgebungs-Snapshots aus Terraform zu speichern und zu laden.

Das Speichern und Laden von Snapshots ist Aktionen, die in einer Umgebung ausgeführt werden. resultierende Snapshots sind nicht Teil der Definition einer Umgebung. Seit Terraform verwaltet nur die Konfiguration der Cloud Composer-Umgebung, können Sie keine Umgebungs-Snapshots speichern oder laden.

Umgebungs-Snapshot laden

In Cloud Composer 1 können Sie Snapshots nur speichern, aber nicht laden. Sie können Snapshots aus einer Cloud Composer 1-Umgebung in Cloud Composer 2 laden Umgebungen. Wenn Sie zum Beispiel Umgebungen zu Cloud Composer 2 migrieren

Nächste Schritte

• Geplante Snapshots konfigurieren
• Umgebungen erstellen
• Zugriffskontrolle