Umgebungen mit hoher Ausfallsicherheit einrichten

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird beschrieben, wie Sie äußerst robuste Cloud Composer-Umgebungen einrichten.

Ausfallsicherheit für zonale Ausfälle in Cloud Composer

Hochgradig robuste Cloud Composer-Umgebungen verwenden integrierte Redundanz- und Failover-Mechanismen, die die Anfälligkeit der Umgebung für zonale Ausfälle und Single-Point-of-Failure-Ausfälle verringern.

Beispielsweise werden durch einen zonalen Ausfall Airflow-Aufgaben unterbrochen, die in einer bestimmten Zone ausgeführt werden. Danach wird in einer Umgebung mit hoher Ausfallsicherheit wiederhergestellt, die betroffenen Komponenten in einer anderen Zone neu gestartet und die Datenbank in eine sekundäre Zone verschoben. So können die fehlgeschlagenen Airflow-Aufgaben von Airflow neu geplant und gestartet werden, wobei gleichzeitig der Verlauf von DAG-Ausführungen und anderen Einstellungen beibehalten wird.

Eine äußerst robuste Umgebung wird in mindestens zwei Zonen einer ausgewählten Region ausgeführt. Cloud Composer verteilt die Komponenten der Umgebung automatisch auf Zonen.

Sie können äußerst robuste Cloud Composer-Umgebungen für kritische Geschäftsprozesse verwenden.

Informationen zur hochverfügbaren Datenbank Ihrer Umgebung

In hochverfügbaren Cloud Composer-Umgebungen wird die Cloud SQL-Instanz, in der die Datenbank der Umgebung gespeichert ist, im Modus für hohe Verfügbarkeit ausgeführt. Eine Cloud SQL-Instanz, die für Hochverfügbarkeit konfiguriert ist, wird auch als regionale Instanz bezeichnet und befindet sich in einer primären und sekundären Zone innerhalb der konfigurierten Region. Innerhalb einer regionalen Instanz besteht die Konfiguration aus einer primären Instanz und einer Standby-Instanz.

Bei einem Ausfall führt die Cloud SQL-Instanz Ihrer Umgebung das automatische Failover der Datenbank auf die Cloud SQL-Standby-Instanz durch. Sie müssen in Ihrer Cloud Composer-Umgebung keine weiteren Aktionen ausführen. Sobald die primäre Zone wieder betriebsbereit ist, wechselt die Umgebung wieder zu zwei Zonen (primär und sekundär). Primäre und sekundäre Zonen können in einigen Fällen vertauscht werden. Die Cloud SQL-Instanz im Hochverfügbarkeitsmodus verwendet nach einem Failover dieselbe IP-Adresse.

Hochverfügbare Airflow-Komponenten

In hochverfügbaren Cloud Composer-Umgebungen werden Airflow-Komponenten ausgeführt, die auf Zonen verteilt sind.

In Ihrer Umgebung werden immer genau zwei Airflow-Planer, zwei Webserver und mindestens zwei (maximal zehn) Trigger ausgeführt, wenn Trigger aktiviert sind. Diese Komponentenpaare werden in separaten Zonen ausgeführt. Die Mindestanzahl von Workern ist auf zwei festgelegt und der Cluster Ihrer Umgebung verteilt Worker-Instanzen auf Zonen. Bei einem zonalen Ausfall werden betroffene Worker-Instanzen in eine andere Zone verschoben.

Weitere Informationen zur Architektur von Umgebungen mit extrem hoher Ausfallsicherheit finden Sie unter Architektur mit extrem hoher Ausfallsicherheit.

Hinweise

  • Umgebungen mit hoher Ausfallsicherheit sind nur in privaten IP-Umgebungen verfügbar.

  • Umgebungen mit hoher Ausfallsicherheit werden im Vergleich zu normalen Umgebungen gegen Aufpreis angeboten.

  • Umgebungen mit hoher Ausfallsicherheit sind in Cloud Composer Version 2.2.0 und höher verfügbar.

  • Wenn Sie eine Standardumgebung in eine äußerst robuste Umgebung aktualisieren möchten, muss sie die folgenden Konfigurationsanforderungen erfüllen. Wenn Ihre Umgebung diese Anforderungen nicht erfüllt, können Sie die Skalierungs- und Leistungsparameter aktualisieren.

    • Die Mindestanzahl von Airflow-Workern ist 2 oder mehr.
    • Die Anzahl der Airflow-Planer beträgt genau 2.
    • Wenn Sie zurückstellbare Operatoren in Ihren DAGs verwenden, benötigen Sie mindestens zwei Trigger.

Eine äußerst robuste Umgebung schaffen

Aktivieren Sie beim Erstellen einer Umgebung den Modus mit hoher Ausfallsicherheit, um eine äußerst robuste Umgebung zu erstellen.

Standardumgebung auf Modus mit hoher Ausfallsicherheit aktualisieren

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen“

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Wählen Sie den Tab Umgebungskonfiguration aus.

  4. Klicken Sie im Abschnitt Stabilitätsmodus auf Bearbeiten.

  5. Wählen Sie Hohe Ausfallsicherheit aus und klicken Sie auf Speichern.

gcloud 

  gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --enable-high-resilience

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name Ihrer Umgebung
  • LOCATION: Region, in der sich die Umgebung befindet.

API

  1. Erstellen Sie eine API-Anfrage environments.patch.

  2. In dieser Anfrage:

    1. Geben Sie im Parameter updateMask die Maske config.resilienceMode an.

    2. Geben Sie im Anfragetext HIGH_RESILIENCE an, um in den Modus für hohe Ausfallsicherheit zu wechseln.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.resilienceMode

{
 "config": {
   "resilience_mode": { "HIGH_RESILIENCE" }
   }
 }

Terraform

Das Feld resilience_mode im Block config gibt den Ausfallsicherheitsmodus an. Wenn Sie den Modus für hohe Ausfallsicherheit verwenden möchten, legen Sie diesen Wert auf HIGH_RESILIENCE fest.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    resilience_mode = "HIGH_RESILIENCE"

  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name Ihrer Umgebung
  • LOCATION: Region, in der sich die Umgebung befindet.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    resilience_mode = "HIGH_RESILIENCE"

}

Hochstabile Umgebung in den Standard-Resilienzmodus ändern

Sie können Ihre Umgebung jederzeit in den standardmäßigen Ausfallsicherheitsmodus ändern. Dieser Vorgang führt folgende Schritte aus:

  • Reduziert die Anzahl der Webserver in Ihrer Umgebung auf 1.
  • Deaktiviert den Hochverfügbarkeitsmodus der Airflow-Datenbank Ihrer Umgebung.

  • Die Einstellungen für die Mindestanzahl von Airflow-Workern, Planern oder Triggern werden nicht geändert.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen“

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Wählen Sie den Tab Umgebungskonfiguration aus.

  4. Klicken Sie im Abschnitt Stabilitätsmodus auf Bearbeiten.

  5. Wählen Sie Standardmäßige Ausfallsicherheit (Standard) aus und klicken Sie auf Speichern.

gcloud 

  gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-high-resilience

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name Ihrer Cloud Composer-Umgebung.
  • LOCATION: Region, in der sich die Umgebung befindet.

API

  1. Erstellen Sie eine API-Anfrage environments.patch.

  2. In dieser Anfrage:

    1. Geben Sie im Parameter updateMask die Maske config.resilienceMode an.

    2. Geben Sie im Anfragetext RESILIENCE_MODE_UNSPECIFIED an, um in den standardmäßigen Ausfallsicherheitsmodus zu wechseln.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.resilienceMode

{
 "config": {
   "resilience_mode": { "RESILIENCE_MODE_UNSPECIFIED" }
   }
 }

Terraform

Das Feld resilience_mode im Block config gibt den Ausfallsicherheitsmodus an. Wenn Sie den standardmäßigen Ausfallsicherheitsmodus verwenden möchten, legen Sie diesen Wert auf STANDARD_RESILIENCE fest.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    resilience_mode = "STANDARD_RESILIENCE"

  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name Ihrer Umgebung
  • LOCATION: Region, in der sich die Umgebung befindet.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    resilience_mode = "STANDARD_RESILIENCE"

}

Prüfen, ob Ihre Umgebung im Modus für hohe Ausfallsicherheit ausgeführt wird

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen“

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Wählen Sie den Tab Umgebungskonfiguration aus.

  4. Sehen Sie sich im Abschnitt Stabilitätsmodus den Ausfallsicherheitsmodus Ihrer Umgebung an.

gcloud

Führen Sie den folgenden Google Cloud CLI-Befehl aus, um zu prüfen, ob der Modus für hohe Ausfallsicherheit in Ihrer Umgebung aktiviert ist. Der Wert von True bedeutet, dass der Modus für hohe Ausfallsicherheit in Ihrer Umgebung aktiviert ist.

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION \
  --format="value(config.resilienceMode)"

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name Ihrer Cloud Composer-Umgebung.
  • LOCATION: Region, in der sich die Umgebung befindet.

Nächste Schritte