Umgebungen skalieren

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird beschrieben, wie Sie Cloud Composer-Umgebungen skalieren.

Vertikal und horizontal skalieren

In Cloud Composer 1 definieren Sie keine spezifischen CPU- und Arbeitsspeicherressourcen für Cloud Composer- und Airflow-Komponenten wie Worker und Planer. Stattdessen geben Sie die Anzahl und den Typ der Maschinen für Knoten in für den Cluster Ihrer Umgebung.

Hinweis: Während der Komponentenverteilung in Cloud Composer 1 werden einige Airflow-Daten Komponenten können ungleichmäßig über den verfügbaren Knoten platziert werden. In solchen Fällen ist die CPU- oder Speicherauslastung eines oder mehrerer Knoten höher als anderen Knoten im Cluster.

Optionen für die horizontale Skalierung:

• Anzahl der Knoten anpassen
• Anzahl der Planer anpassen

Optionen für die vertikale Skalierung:

• Maschinentyp der Cloud SQL-Instanz anpassen
• Maschinentyp des Webservers anpassen

Planerparameter anpassen

In Ihrer Umgebung können mehrere Airflow-Planer gleichzeitig ausgeführt werden. Mit mehreren Planern lässt sich die Last auf verschiedene Planerinstanzen verteilen, um die Leistung und Zuverlässigkeit zu verbessern.

Wenn Ihre Umgebung Airflow 2 verwendet, können Sie oben mehrere Planer angeben mit der Anzahl der Knoten in Ihrer Umgebung.

Durch die Erhöhung der Anzahl der Planer wird die Airflow-Leistung nicht immer verbessert. Wenn Sie beispielsweise nur einen Planer haben, ist die Leistung möglicherweise besser als zwei. Dies kann passieren, wenn der zusätzliche Planer nicht verwendet wird und somit Ressourcen Ihrer Umgebung verbraucht, ohne dass dies Auswirkungen auf die Gesamtleistung hat. Die tatsächliche Leistung des Planers hängt von der Anzahl der Airflow-Worker, der Anzahl der in der Umgebung ausgeführten DAGs und Aufgaben sowie der Konfiguration von Airflow und der Umgebung ab.

Wir empfehlen, mit zwei Planern zu beginnen und dann die Leistung Ihrer Umgebung zu überwachen. Wenn Sie die Anzahl der Planer ändern, können Sie Ihre Umgebung jederzeit wieder auf die ursprüngliche Anzahl von Planern skalieren.

Weitere Informationen zur Konfiguration mehrerer Planer finden Sie in der Airflow-Dokumentation.

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf.

4. Gehen Sie unter Ressourcen > Arbeitslastkonfiguration so vor: Klicken Sie auf Bearbeiten.

5. Gehen Sie unter Ressourcen > Anzahl der Planer so vor: Klicken Sie auf Bearbeiten.

6. Wählen Sie im Bereich Scheduler configuration (Planerkonfiguration) im Menü Anzahl der Planer: Geben Sie die Anzahl der Planer für für Ihre Umgebung.

7. Klicken Sie auf Speichern.

gcloud

Die folgenden Airflow-Planerparameter sind verfügbar:

• --scheduler-count: die Anzahl der Planer in Ihrer Umgebung.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --scheduler-count SCHEDULER_COUNT

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name der Umgebung.

• LOCATION: Region, in der sich die Umgebung befindet.

Beispiel:

gcloud composer environments update example-environment \
  --location us-central1 \
  --scheduler-count 2

API

1. Erstellen Sie eine API-Anfrage environments.patch.

2. In dieser Anfrage:

   1. Geben Sie im Parameter updateMask config.workloadsConfig.schedulerCount-Maske.

   2. Geben Sie im Anfragetext die Anzahl der Planer für Ihre zu verbessern.

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": SCHEDULER_COUNT
    }
  }
}

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name der Umgebung.

• LOCATION: Region, in der sich die Umgebung befindet.

• SCHEDULER_COUNT: die Anzahl der Planer.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": 2
    }
  }
}

Terraform

Mit den folgenden Feldern im Block workloads_config.scheduler wird gesteuert, Airflow-Planerparameter. Jeder Planer verwendet die angegebene Menge an Ressourcen.

• scheduler.count: die Anzahl der Planer in Ihrer Umgebung.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      scheduler {
        count = SCHEDULER_COUNT
      }
    }

  }
}

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name der Umgebung.

• LOCATION: Region, in der sich die Umgebung befindet.

• SCHEDULER_COUNT: die Anzahl der Planer.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      scheduler {
        
        count = 2
      }
    }

  }
}

Triggerparameter anpassen

Sie können die Anzahl der Trigger auf null setzen, aber Sie benötigen mindestens einen Trigger Triggerer-Instanz in Ihrer Umgebung (oder mindestens zwei Umgebungen) zurückstellbare Operatoren in Ihren DAGs.

Je nach Umgebung Resilienzmodus, gibt es verschiedene mögliche Konfigurationen für die Anzahl der Trigger:

• Standardausfallsicherheit: Sie können bis zu 10 Triggerer.
• Hohe Ausfallsicherheit: mindestens 2 Trigger, bis maximal 10.

Selbst wenn die Anzahl der Trigger auf null gesetzt ist, wird erstellt und im Cluster Ihrer Umgebung sichtbar, aber kein tatsächlicher Triggerer ausgeführt werden.

Sie können auch die von Airflow verwendete CPU-, Arbeitsspeicher- und Speicherplatzmenge angeben Trigger in Ihrer Umgebung. So können Sie die Leistung Ihrer Ihrer Umgebung. Zusätzlich zur horizontalen Skalierung, die durch die Verwendung mehrerer Triggerer.

Hinweis: Informationen zu möglichen Werten und Limits für Ressourcen finden Sie in der Ressourcenlimits.

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf.

4. Gehen Sie unter Ressourcen > Arbeitslastkonfiguration so vor: Klicken Sie auf Bearbeiten.

5. Passen Sie im Bereich Workloads-Konfiguration die Parameter für Airflow an. Triggerer:

   1. Führen Sie im Abschnitt Trigger im Feld Anzahl der Trigger die folgenden Schritte aus: geben Sie die Anzahl der Trigger in Ihrer Umgebung ein.

      Wenn Sie mindestens einen Trigger für Ihre Umgebung festlegen, verwenden Sie auch die Methode die Felder CPU und Arbeitsspeicher, um die Ressourcenzuweisung zu konfigurieren für Ihre Trigger.

   2. Geben Sie unter CPU und Arbeitsspeicher den Wert an. CPUs, Arbeitsspeicher und Speicher für Airflow-Triggerer. Jeder Triggerer verwendet die angegebene Menge an Ressourcen.

6. Klicken Sie auf Speichern.

gcloud

Die folgenden Airflow-Triggerparameter sind verfügbar:

Achtung :Verwenden Sie immer alle drei Argumente: --triggerer-cpu, --triggerer-memory und --triggerer-count. Wenn Sie einen Parameter weglassen, wird sein aktueller Wert auf die Standardeinstellung zurückgesetzt: 0.5 vCPU, 0.5 GB Arbeitsspeicher oder die Anzahl der Trigger Ausfallsicherheitsmodus.

• --triggerer-count: die Anzahl der Trigger in Ihrer Umgebung.

  • Verwenden Sie für standardmäßige Ausfallsicherheitsumgebungen einen Wert zwischen 0 und 10.
  • In Umgebungen mit extrem hoher Ausfallsicherheit 0, oder ein Wert zwischen 2 und 10

• --triggerer-cpu: die Anzahl der CPUs für einen Airflow-Triggerer.

• --triggerer-memory: die Größe des Arbeitsspeichers für einen Airflow Triggerer.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --triggerer-count TRIGGERER_COUNT \
  --triggerer-cpu TRIGGERER_CPU \
  --triggerer-memory TRIGGERER_MEMORY

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name der Umgebung.
• LOCATION: Region, in der sich die Umgebung befindet.
• TRIGGERER_COUNT: die Anzahl der Trigger.
• TRIGGERER_CPU: die Anzahl der CPUs für einen Trigger in vCPU-Einheiten.
• TRIGGERER_MEMORY: die Größe des Arbeitsspeichers für einen Trigger.

Hinweis: Der angegebene Wert für Arbeitsspeicher und Speicherplatz muss eine ganze Zahl sein gefolgt von einer Größeneinheit von KB für Kilobyte, MB für Megabyte oder GB für Gigabyte. Die Standardgröße ist GB. Zum Beispiel erzeugt 10GB die Zahl 10 Gigabyte Speicher.

Beispiele:

• Skalieren Sie auf vier Triggerinstanzen:

  gcloud composer environments update example-environment \
    --location us-central1 \
    --triggerer-count 4 \
    --triggerer-cpu 1 \
    --triggerer-memory 1
  ```

- Disable triggerers by setting triggerer count to `0`. This operation
  doesn't require specifying CPU or memory for the triggerers.

```bash
  gcloud composer environments update example-environment \
    --location us-central1 \
    --triggerer-count 0
  ```

API

1. Geben Sie im Abfrageparameter updateMask an, config.workloadsConfig.triggerer-Maske.

2. Geben Sie im Anfragetext alle drei Parameter für Trigger an.

"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": TRIGGERER_COUNT,
      "cpu": TRIGGERER_CPU,
      "memoryGb": TRIGGERER_MEMORY
    }
  }
}

Ersetzen Sie Folgendes:

• TRIGGERER_COUNT: die Anzahl der Trigger.

  • Verwenden Sie für standardmäßige Ausfallsicherheitsumgebungen einen Wert zwischen 0 und 10.
  • In Umgebungen mit extrem hoher Ausfallsicherheit 0, oder ein Wert zwischen 2 und 10

• TRIGGERER_CPU: die Anzahl der CPUs für einen Trigger in vCPU-Einheiten.

• TRIGGERER_MEMORY: die Größe des Arbeitsspeichers für einen Trigger.

Beispiele:

• Deaktivieren Sie Trigger, indem Sie die Triggeranzahl auf 0 setzen. Dieser Vorgang erfordert keine Angabe von CPU oder Arbeitsspeicher für die Trigger.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 0
    }
  }
}

• Skalieren Sie auf vier Triggerinstanzen:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 4,
      "cpu": 1,
      "memoryGb": 1
    }
  }
}

Terraform

Mit den folgenden Feldern im Block workloads_config.triggerer wird gesteuert, Airflow-Triggerer-Parameter. Jeder Trigger verwendet die angegebene Menge an Ressourcen.

• triggerer.count: die Anzahl der Trigger in Ihrer Umgebung.

  • Verwenden Sie für standardmäßige Ausfallsicherheitsumgebungen einen Wert zwischen 0 und 10.
  • In Umgebungen mit extrem hoher Ausfallsicherheit 0, oder ein Wert zwischen 2 und 10

• triggerer.cpu: die Anzahl der CPUs für einen Airflow-Triggerer.

• triggerer.memory_gb: die Größe des Arbeitsspeichers für einen Airflow-Triggerer.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      triggerer {
        count = TRIGGERER_COUNT
        cpu = TRIGGERER_CPU
        memory_gb = TRIGGERER_MEMORY
      }
    }

  }
}

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name der Umgebung.
• LOCATION: Region, in der sich die Umgebung befindet.
• TRIGGERER_COUNT: die Anzahl der Trigger.
• TRIGGERER_CPU: die Anzahl der CPUs für einen Trigger in vCPU-Einheiten.
• TRIGGERER_MEMORY: die Größe des Arbeitsspeichers für einen Trigger in GB.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      triggerer {
        count = 1
        cpu = 0.5
        memory_gb = 0.5
      }
    }

  }
}

Webserverparameter anpassen

Sie können die Menge an CPUs, Arbeitsspeicher und Speicherplatz angeben, die von Airflow verwendet werden Webserver in Ihrer Umgebung. Auf diese Weise können Sie die Leistung Airflow-UI, um z. B. den Bedarf einer großen Anzahl von oder eine große Anzahl verwalteter DAGs.

Hinweis: Informationen zu möglichen Werten und Limits für Ressourcen finden Sie in der Ressourcenlimits.

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf.

4. Gehen Sie unter Ressourcen > Arbeitslastkonfiguration so vor: Klicken Sie auf Bearbeiten.

5. Passen Sie im Bereich Workloads Configuration (Arbeitslastkonfiguration) die Parameter für die Webserver. Geben Sie in den Feldern CPU, Arbeitsspeicher und Speicher Folgendes an: Anzahl der CPUs, des Arbeitsspeichers und Speichers für den Webserver.

6. Klicken Sie auf Speichern.

gcloud

Die folgenden Parameter des Airflow-Webservers sind verfügbar:

• --web-server-cpu: die Anzahl der CPUs für den Airflow-Webserver.
• --web-server-memory: die Größe des Arbeitsspeichers für das Airflow-Web Server.
• --web-server-storage: die Menge an Speicherplatz für Airflow Webserver.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-cpu WEB_SERVER_CPU \
  --web-server-memory WEB_SERVER_MEMORY \
  --web-server-storage WEB_SERVER_STORAGE

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name der Umgebung.
• LOCATION: Region, in der sich die Umgebung befindet.
• WEB_SERVER_CPU: die Anzahl der CPUs für den Webserver in vCPU-Einheiten.
• WEB_SERVER_MEMORY: die Größe des Arbeitsspeichers für den Webserver.
• WEB_SERVER_STORAGE: die Größe des Arbeitsspeichers für den Webserver.

Hinweis: Der angegebene Wert für Arbeitsspeicher und Speicherplatz muss eine ganze Zahl sein gefolgt von einer Größeneinheit von KB für Kilobyte, MB für Megabyte oder GB für Gigabyte. Die Standardgröße ist GB. Zum Beispiel erzeugt 10GB die Zahl 10 Gigabyte Speicher.

Beispiel:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-cpu 1 \
  --web-server-memory 2.5 \
  --web-server-storage 2

API

1. Erstellen Sie eine API-Anfrage environments.patch.

2. In dieser Anfrage:

   1. Geben Sie im Parameter updateMask an, Die config.workloadsConfig.webServer-Maske, um alle Webserver zu aktualisieren Parameter. Sie können auch einzelne Webserverparameter und eine Maske für diese Parameter angeben: config.workloadsConfig.webServer.cpu, config.workloadsConfig.webServer.memoryGb, config.workloadsConfig.webServer.storageGb

   2. Geben Sie im Anfragetext die neuen Webserverparameter an.

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": WEB_SERVER_CPU,
      "memoryGb": WEB_SERVER_MEMORY,
      "storageGb": WEB_SERVER_STORAGE
    }
  }
}

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name der Umgebung.
• LOCATION: Region, in der sich die Umgebung befindet.
• WEB_SERVER_CPU: die Anzahl der CPUs für den Webserver in vCPU-Einheiten.
• WEB_SERVER_MEMORY: die Größe des Arbeitsspeichers für den Webserver in GB.
• WEB_SERVER_STORAGE: die Laufwerksgröße für den Webserver in GB.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.webServer.cpu,
// config.workloadsConfig.webServer.memoryGb,
// config.workloadsConfig.webServer.storageGb

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": 0.5,
      "memoryGb": 2.5,
      "storageGb": 2
    }
  }
}

Terraform

Mit den folgenden Feldern im Block workloads_config.web_server wird gesteuert, Webserverparameter.

• web_server.cpu: die Anzahl der CPUs für den Webserver.
• web_server.memory_gb: die Größe des Arbeitsspeichers für den Webserver.
• web_server.storage_gb: die Menge an Speicherplatz für den Webserver.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      web_server {
        cpu = WEB_SERVER_CPU
        memory_gb = WEB_SERVER_MEMORY
        storage_gb = WEB_SERVER_STORAGE
      }
    }

  }
}

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name der Umgebung.
• LOCATION: Region, in der sich die Umgebung befindet.
• WEB_SERVER_CPU: die Anzahl der CPUs für den Webserver in vCPU-Einheiten.
• WEB_SERVER_MEMORY: die Größe des Arbeitsspeichers für den Webserver in GB.
• WEB_SERVER_STORAGE: die Laufwerksgröße für den Webserver in GB.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      web_server {
        cpu = 0.5
        memory_gb = 1.875
        storage_gb = 1
      }
    }

  }
}

Größe der Umgebung anpassen

Mit der Umgebungsgröße steuern Sie die Leistungsparameter der verwalteten Cloud Composer-Infrastruktur, die z. B. die Airflow-Datenbank

Wählen Sie eine größere Umgebungsgröße aus, wenn Sie eine große Anzahl ausführen möchten von DAGs und Aufgaben.

Hinweis: Die Umgebungsgröße unterscheidet sich von den Voreinstellungen der Umgebung. Umgebungsvoreinstellungen, die Sie beim Erstellen einer Umgebung auswählen können, bestimmen alle Limits, Skalierungen und Leistungsparameter Ihrer Umgebung, einschließlich der Umgebungsgröße. Die Umgebungsgröße bestimmt nur die Leistungsparameter der verwalteten Cloud Composer-Infrastruktur Ihrer Umgebung.

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf.

4. Gehen Sie unter Ressourcen > Arbeitslastkonfiguration so vor: Klicken Sie auf Bearbeiten.

5. Gehen Sie unter Ressourcen > Core Infrastructure wie folgt vor: Klicken Sie auf Bearbeiten.

6. Führen Sie im Bereich Kerninfrastruktur im Feld Umgebungsgröße die folgenden Schritte aus: geben Sie die Umgebungsgröße an.

7. Klicken Sie auf Speichern.

gcloud

Das --environment-size-Argument steuert die Umgebungsgröße:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --environment-size ENVIRONMENT_SIZE

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name der Umgebung.
• LOCATION: Region, in der sich die Umgebung befindet.
• ENVIRONMENT_SIZE: small, medium oder large.

Beispiel:

gcloud composer environments update example-environment \
    --location us-central1 \
    --environment-size medium

API

1. Erstellen Sie eine environments.patch-API-Anfrage.

2. In dieser Anfrage:

   1. Geben Sie im updateMask-Parameter die config.environmentSize-Maske an.

   2. Geben Sie im Anfragetext die Größe der Umgebung an.

  "config": {
    "environmentSize": "ENVIRONMENT_SIZE"
  }

Ersetzen Sie Folgendes:

• ENVIRONMENT_SIZE: die Umgebungsgröße, ENVIRONMENT_SIZE_SMALL ENVIRONMENT_SIZE_MEDIUM oder ENVIRONMENT_SIZE_LARGE.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.environmentSize

"config": {
  "environmentSize": "ENVIRONMENT_SIZE_MEDIUM"
}

Terraform

Über das Feld environment_size im Block config wird die Umgebung gesteuert. Größe:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    environment_size = "ENVIRONMENT_SIZE"

  }
}

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name der Umgebung.
• LOCATION: Region, in der sich die Umgebung befindet.
• ENVIRONMENT_SIZE: die Umgebungsgröße, ENVIRONMENT_SIZE_SMALL ENVIRONMENT_SIZE_MEDIUM oder ENVIRONMENT_SIZE_LARGE.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    environment_size = "ENVIRONMENT_SIZE_SMALL"

    }
  }
}

Anzahl der Knoten anpassen

Sie können die Anzahl der Knoten in Ihrer Umgebung ändern.

Diese Anzahl entspricht der Anzahl der Airflow-Worker in Ihrer Umgebung. Neben Airflow-Workern führen Ihre Umgebungsknoten auch Airflow Planer und anderen Umgebungskomponenten.

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf.

4. Klicken Sie unter Worker-Knoten > Knotenanzahl auf Bearbeiten.

5. Führen Sie im Bereich Worker-Knotenkonfiguration im Feld Knotenanzahl die folgenden Schritte aus: und geben Sie die Anzahl der Knoten in Ihrer Umgebung an.

6. Klicken Sie auf Speichern.

gcloud

Das Argument --node-count steuert die Anzahl der Knoten in Ihrer Umgebung:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --zone NODE_ZONE \
    --node-count NODE_COUNT

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name der Umgebung.
• LOCATION: Region, in der sich die Umgebung befindet.
• NODE_COUNT: die Anzahl der Knoten. Die Mindestanzahl von Knoten ist 3.
• NODE_ZONE: Die Compute Engine-Zone für die VMs Ihrer Umgebung.

Beispiel:

gcloud composer environments update example-environment \
    --location us-central1 \
    --zone us-central1-a \
    --node-count 6

API

1. Erstellen Sie eine environments.patch-API-Anfrage.

2. In dieser Anfrage gilt:

   1. Geben Sie im updateMask-Parameter die config.nodeCount-Maske an.

   2. Geben Sie im Anfragetext die Anzahl der Knoten für Ihre Umgebung an.

  "config": {
    "nodeCount": NODE_COUNT
  }

Ersetzen Sie Folgendes:

• NODE_COUNT: die Anzahl der Knoten. Die Mindestanzahl an Knoten beträgt 3.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount

"config": {
  "nodeCount": 6
}

Terraform

Im Feld node_count im Block node_config wird die Anzahl der Knoten in Ihrer Umgebung.

resource "google_composer_environment" "example" {

  config {
    node_config {
      node_count = NODE_COUNT
    }
}

Ersetzen Sie Folgendes:

• NODE_COUNT: die Anzahl der Knoten.

Beispiel:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      node_count = 4
    }

}

Hinweis: Durch das Ändern der Knotenanzahl einer Umgebung wird das Ereignis Neuerstellung der für die Umgebung verwendeten Airflow-Images.

Maschinentyp der Cloud SQL-Instanz anpassen

Sie können den Maschinentyp der Cloud SQL-Instanz ändern, auf der die Airflow-Datenbank Ihrer Umgebung.

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf.

4. Gehen Sie unter Ressourcen > Cloud SQL-Maschinentyp so vor: Klicken Sie auf Bearbeiten.

5. Wählen Sie im Bereich Cloud SQL-Konfiguration im Bereich Cloud SQL-Maschinentyp den Maschinentyp für die Cloud SQL-Instanz Ihrer Umgebung.

6. Klicken Sie auf Speichern.

gcloud

Die --cloud-sql-machine-type-Argumente steuern den Maschinentyp von der Cloud SQL-Instanz in Ihrer Umgebung.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --cloud-sql-machine-type SQL_MACHINE_TYPE

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name der Umgebung.
• LOCATION: Region, in der sich die Umgebung befindet.
• SQL_MACHINE_TYPE: die Maschinentyp für die Cloud SQL-Instanz.

Beispiel:

gcloud composer environments update example-environment \
  --location us-central1 \
  --cloud-sql-machine-type db-n1-standard-2

API

1. Erstellen: environments.patch API-Anfrage.

2. In dieser Anfrage:

   1. Geben Sie im Parameter updateMask config.databaseConfig.machineType-Maske.

   2. Geben Sie im Anfragetext den Maschinentyp für der Cloud SQL-Instanz.

{
  "config": {
    "databaseConfig": {
      "machineType": "SQL_MACHINE_TYPE"
    }
  }
}

Ersetzen Sie Folgendes:

• SQL_MACHINE_TYPE: der Maschinentyp für die Cloud SQL-Instanz.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType

{
  "config": {
    "databaseConfig": {
      "machineType": "db-n1-standard-2"
    }
  }
}

Terraform

Das Feld machine_type im Block database_config gibt die Maschinentyp für die Cloud SQL-Instanz.

resource "google_composer_environment" "example" {

  config {
    database_config {
      machine_type = "SQL_MACHINE_TYPE"
    }
  }
}

Ersetzen Sie Folgendes:

• SQL_MACHINE_TYPE: der Maschinentyp für die Cloud SQL-Instanz.

Beispiel:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    database_config {
      machine_type = "db-n1-standard-2"
    }
}

Maschinentyp des Webservers anpassen

Sie können den Maschinentyp für den Airflow-Webserver Ihrer Umgebung ändern.

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf.

4. Gehen Sie unter Ressourcen > Webserver-Maschinentyp wie folgt vor: Klicken Sie auf Bearbeiten.

5. Wählen Sie im Bereich Webserverkonfiguration im Menü Webserver-Maschinentyp den Maschinentyp für dem Airflow-Webserver.

6. Klicken Sie auf Speichern.

gcloud

Die --web-server-machine-type-Argumente steuern den Maschinentyp von die Airflow-Webserverinstanz in Ihrer Umgebung.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-machine-type WS_MACHINE_TYPE

Ersetzen Sie Folgendes:

• ENVIRONMENT_NAME: der Name der Umgebung.
• LOCATION: Region, in der sich die Umgebung befindet.
• WS_MACHINE_TYPE: die Maschinentyp für die Airflow-Webserverinstanz.

Beispiel:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-machine-type composer-n1-webserver-2

API

1. Erstellen: environments.patch API-Anfrage.

2. In dieser Anfrage:

   1. Geben Sie im Parameter updateMask config.webServerConfig.machineType-Maske.

   2. Geben Sie im Anfragetext den Maschinentyp für auf dem Webserver.

{
  "config": {
    "webServerConfig": {
      "machineType": "WS_MACHINE_TYPE"
    }
  }
}

Ersetzen Sie Folgendes:

• WS_MACHINE_TYPE: die Maschinentyp für die Airflow-Webserverinstanz.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType

{
  "config": {
    "webServerConfig": {
      "machineType": "composer-n1-webserver-2"
    }
  }
}

Terraform

Das Feld machine_type im Block web_server_config gibt die Maschinentyp für die Airflow-Webserverinstanz.

resource "google_composer_environment" "example" {

  config {
    web_server_config {
      machine_type = "WS_MACHINE_TYPE"
    }
  }
}

Ersetzen Sie Folgendes:

• WS_MACHINE_TYPE: die Maschinentyp für die Airflow-Webserverinstanz.

Beispiel:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    web_server_config {
      machine_type = "composer-n1-webserver-2"
    }
}

Nächste Schritte

• Umgebungsskalierung und -leistung
• Cloud Composer – Preise
• Umgebungen aktualisieren
• Umgebungsarchitektur