Cloud Composer 1 befindet sich im Modus nach der Wartung. Google veröffentlicht keine weiteren Updates für Cloud Composer 1, einschließlich neuer Versionen von Airflow, Fehlerkorrekturen und Sicherheitsupdates. Wir empfehlen die Migration zu Cloud Composer 2.

Diese Seite wurde von der Cloud Translation API übersetzt.

Umgebungen skalieren

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird beschrieben, wie Sie Cloud Composer-Umgebungen skalieren.

Weitere Seiten zur Skalierung:

Eine Anleitung zum Auswählen der optimalen Skalierungs- und Leistungsparameter für Ihre Umgebung finden Sie unter Umgebungsleistung und -kosten optimieren.
Informationen zur Funktionsweise der Umgebungsskalierung finden Sie unter Umgebungsskalierung.

Vertikal und horizontal skalieren

Optionen für die horizontale Skalierung:

Mindest- und Höchstzahl von Workern anpassen
Anzahl der Planer, DAG-Prozessoren, und Triggerer.

Optionen für die vertikale Skalierung:

Worker, Planer, Trigger DAG-Prozessor, und Webserver. Skalierungs- und Leistungsparameter.
Passen Sie die Umgebungsgröße an.

Ressourcenlimits

Komponente	Mindestanzahl	Maximale Anzahl	Mindestens erforderliche vCPU	Maximale vCPU	Mindestschritt für vCPUs	Mindestarbeitsspeicher (GB)	Maximaler Arbeitsspeicher (GB)	Minimaler Arbeitsspeicherschritt (GB)	Mindestarbeitsspeicher pro vCPU (GB)	Maximaler Arbeitsspeicher pro 1 vCPU (GB)	Mindestspeicher (GB)	Maximaler Speicherplatz (GB)	Mindestspeicherschritt (GB)
Planer	1	3	0,5	1	0,5	0,5	8	0,25	1	8	0	100	1
Trigger	0	10	0,5	1	0,5	0,5	8	0,25	1	8	-	–	-
Webserver	-	-	0,5	32	0, 5, 1 oder ein Vielfaches von 2	1	256	0,25	1	8	0	100	1
Worker	1	100	0,5	32	0, 5, 1 oder ein Vielfaches von 2	1	256	0,25	1	8	0	100	1
DAG-Prozessoren	1	3	0,5	32	0, 5, 1 oder ein Vielfaches von 2	1	256	0,25	1	8	0	100	1

Worker-Parameter anpassen

Sie können die Mindest- und Höchstanzahl an Workern für Ihre Umgebung festlegen. Cloud Composer skaliert Ihre Umgebung automatisch innerhalb der festgelegten Limits. Sie können diese Limits jederzeit anpassen.

Sie können die Anzahl der CPUs, den Arbeitsspeicher und den Speicherplatz angeben, die von Airflow-Workern in Ihrer Umgebung verwendet werden. So können Sie die Leistung Ihrer Neben der horizontalen Skalierung, die durch die Verwendung mehrerer Arbeiter.

Console

Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

Zur Seite Umgebungen
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Klicken Sie unter Ressourcen > Konfiguration der Arbeitslasten auf Bearbeiten.
Passen Sie im Bereich Arbeitslastkonfiguration die Parameter für Airflow-Arbeitskräfte an:
- Geben Sie im Feld Mindestzahl an Workern die Anzahl der Airflow-Worker an, die Ihre Umgebung immer ausführen muss. Die Anzahl der Worker in Ihrer Umgebung unterschreitet diesen Wert während des regulären Betriebs der Umgebung nie, auch nicht, wenn eine niedrigere Anzahl an Workern die Last bewältigen kann.
  
  Hinweis: Die Anzahl der Worker kann während Wartungsarbeiten und beim Upgrade oder Update Ihrer Umgebung vorübergehend unter die Mindestanzahl sinken.
- Geben Sie im Feld Maximalzahl der Worker die maximale Anzahl der Airflow-Worker an, die in Ihrer Umgebung ausgeführt werden können. Die Zahl der Worker in Ihrer Umgebung überschreitet diesen Wert nie, auch wenn eine höhere Anzahl an Workern zur Verarbeitung der Last erforderlich ist.
- Geben Sie in den Feldern CPU, Arbeitsspeicher und Speicher die Anzahl der CPUs, den Arbeitsspeicher und den Speicher für Airflow-Worker an. Jeder Worker verwendet die angegebene Menge an Ressourcen.
Klicken Sie auf Speichern.

gcloud

Die folgenden Airflow-Worker-Parameter sind verfügbar:

--min-workers: die Anzahl der Airflow-Worker, die Ihre Umgebung benötigt immer ausgeführt werden. Die Anzahl der Worker in Ihrer Umgebung unterschreitet diesen Wert nie, auch nicht, wenn eine niedrigere Anzahl an Workern die Last bewältigen kann.
--max-workers: die maximale Anzahl von Airflow-Workern, die Ihre Umgebung ausführen kann. Die Anzahl der Worker in Ihrer Umgebung überschreitet diesen Wert nie, auch wenn eine höhere Anzahl an Workern zur Verarbeitung der Last erforderlich ist.
--worker-cpu: die Anzahl der CPUs für einen Airflow-Worker.
--worker-memory: die Größe des Arbeitsspeichers für einen Airflow-Worker.
--worker-storage: der Speicherplatz für einen Airflow-Worker.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --min-workers WORKERS_MIN \
  --max-workers WORKERS_MAX \
  --worker-cpu WORKER_CPU \
  --worker-memory WORKER_MEMORY \
  --worker-storage WORKER_STORAGE

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: die Region, in der sich die Umgebung befindet.
WORKERS_MIN: die Mindestanzahl von Airflow-Workern.
WORKERS_MAX: Die maximale Anzahl von Airflow-Workern.
WORKER_CPU: die Anzahl der CPUs für einen Worker in vCPU-Einheiten.
WORKER_MEMORY: die Größe des Arbeitsspeichers für einen Worker.
WORKER_STORAGE: die Laufwerksgröße für einen Worker.

Beispiel:

gcloud composer environments update example-environment \
  --location us-central1 \
  --min-workers 2 \
  --max-workers 6 \
  --worker-cpu 1 \
  --worker-memory 2 \
  --worker-storage 2

API

Erstellen Sie eine API-Anfrage environments.patch.
In dieser Anfrage:
1. Geben Sie im updateMask-Parameter die Felder an, die Sie aktualisieren möchten. Beispiel: Wenn Sie alle Parameter für Worker aktualisieren möchten, geben Sie die config.workloadsConfig.worker.cpu,config.workloadsConfig.worker.memoryGb,config.workloadsConfig.worker.storageGB,config.softwareConfig.workloadsConfig.worker.minCount,config.softwareConfig.workloadsConfig.worker.maxCount-Maske an.
2. Geben Sie im Anfragetext die neuen Worker-Parameter an.

"config": {
  "workloadsConfig": {
    "worker": {
      "minCount": WORKERS_MIN,
      "maxCount": WORKERS_MAX,
      "cpu": WORKER_CPU,
      "memoryGb": WORKER_MEMORY,
      "storageGb": WORKER_STORAGE
    }
  }
}

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: die Region, in der sich die Umgebung befindet.
WORKERS_MIN: die Mindestanzahl von Airflow-Workern.
WORKERS_MAX: Die maximale Anzahl von Airflow-Workern.
WORKER_CPU: die Anzahl der CPUs für einen Worker in vCPU-Einheiten.
WORKER_MEMORY: die Größe des Arbeitsspeichers für einen Worker in GB.
WORKER_STORAGE: die Laufwerksgröße für einen Worker in GB.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.worker.minCount,
// config.workloadsConfig.worker.maxCount
// config.workloadsConfig.worker.cpu,
// config.workloadsConfig.worker.memoryGb,
// config.workloadsConfig.worker.storageGB

"config": {
  "workloadsConfig": {
    "worker": {
      "minCount": 2,
      "maxCount": 6,
      "cpu": 1,
      "memoryGb": 2,
      "storageGb": 2
    }
  }
}

Terraform

Die folgenden Felder im workloads_config.worker-Block steuern die Airflow-Worker-Parameter. Jeder Worker verwendet die angegebene Menge an Ressourcen.

worker.min_count: die Anzahl der Airflow-Worker, die Ihre Umgebung benötigt immer ausgeführt werden. Die Anzahl der Worker in Ihrer Umgebung wird nicht unterschritten selbst wenn eine geringere Anzahl von Workern die Last bewältigen kann.
worker.max_count: die maximale Anzahl von Airflow-Workern, die Ihre Umgebung ausführen kann. Die Anzahl der Worker in Ihrer Umgebung überschreitet diesen Wert nie, auch wenn eine höhere Anzahl an Workern zur Verarbeitung der Last erforderlich ist.
worker.cpu: die Anzahl der CPUs für einen Airflow-Worker.
worker.memory_gb: die Größe des Arbeitsspeichers für einen Airflow-Worker.
worker.storage_gb: Der Speicherplatz für einen Airflow-Worker.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      worker {
        min_count = WORKERS_MIN
        max_count = WORKERS_MAX
        cpu = WORKER_CPU
        memory_gb = WORKER_MEMORY
        storage_gb = WORKER_STORAGE
      }
    }

  }
}

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: die Region, in der sich die Umgebung befindet.
WORKERS_MIN: die Mindestanzahl von Airflow-Workern.
WORKERS_MAX: Die maximale Anzahl von Airflow-Workern.
WORKER_CPU: die Anzahl der CPUs für einen Worker in vCPU-Einheiten.
WORKER_MEMORY: die Größe des Arbeitsspeichers für einen Worker in GB.
WORKER_STORAGE: die Laufwerksgröße für einen Worker in GB.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      worker {
        min_count = 2
        max_count = 6
        cpu = 1
        memory_gb = 2
        storage_gb = 2
      }
    }

  }
}

Planerparameter anpassen

In Ihrer Umgebung können mehrere Airflow-Planer gleichzeitig ausgeführt werden. Mit mehreren Planern lässt sich die Last auf verschiedene Planerinstanzen verteilen, um die Leistung und Zuverlässigkeit zu verbessern.

Sie können bis zu 3. Planer in Ihrer Umgebung.

Durch die Erhöhung der Anzahl der Planer wird die Airflow-Leistung nicht immer verbessert. Wenn Sie beispielsweise nur einen Planer haben, ist die Leistung möglicherweise besser als zwei. Dies kann passieren, wenn der zusätzliche Planer nicht verwendet wird und somit Ressourcen Ihrer Umgebung verbraucht, ohne dass dies Auswirkungen auf die Gesamtleistung hat. Die tatsächliche Leistung des Planers hängt von der Anzahl der Airflow-Worker, der Anzahl der in der Umgebung ausgeführten DAGs und Aufgaben sowie der Konfiguration von Airflow und der Umgebung ab.

Wir empfehlen, mit zwei Planern zu beginnen und dann die Leistung Ihrer Umgebung zu überwachen. Wenn Sie die Anzahl der Planer ändern, können Sie Ihre Umgebung jederzeit wieder auf die ursprüngliche Anzahl von Planern skalieren.

Weitere Informationen zur Konfiguration mehrerer Planer finden Sie in der Airflow-Dokumentation.

Sie können die Anzahl der CPUs, den Arbeitsspeicher und den Speicherplatz angeben, die von Airflow-Planern in Ihrer Umgebung verwendet werden. So können Sie die Leistung Ihrer Ihrer Umgebung. Zusätzlich zur horizontalen Skalierung, die durch die Verwendung mehrerer Planer.

Console

Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

Zur Seite Umgebungen
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Gehen Sie unter Ressourcen > Arbeitslastkonfiguration so vor: Klicken Sie auf Bearbeiten.
Passen Sie im Bereich Arbeitslastkonfiguration die Parameter für Airflow-Planer an:
- Wählen Sie in der Drop-down-Liste Anzahl der Planer die Anzahl der Planer für Ihre Umgebung aus.
- Geben Sie in den Feldern CPU, Arbeitsspeicher und Speicher die Anzahl der CPUs, den Arbeitsspeicher und den Speicher für Airflow-Planer an. Jeder Planer verwendet die angegebene Menge an Ressourcen.
Klicken Sie auf Speichern.

gcloud

Folgende Airflow-Scheduler-Parameter sind verfügbar:

--scheduler-count: die Anzahl der Scheduler in Ihrer Umgebung.
--scheduler-cpu: die Anzahl der CPUs für einen Airflow-Planer.
--scheduler-memory: die Größe des Arbeitsspeichers für einen Airflow-Planer.
--scheduler-storage: die Größe des Speicherplatzes für einen Airflow-Planer.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --scheduler-cpu SCHEDULER_CPU \
  --scheduler-memory SCHEDULER_MEMORY \
  --scheduler-storage SCHEDULER_STORAGE \
  --scheduler-count SCHEDULER_COUNT

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: Region, in der sich die Umgebung befindet.
SCHEDULER_CPU: die Anzahl der CPUs für einen Planer in vCPU-Einheiten.
SCHEDULER_MEMORY: die Größe des Arbeitsspeichers für einen Scheduler.
SCHEDULER_STORAGE: Die Laufwerksgröße für einen Planer.
SCHEDULER_COUNT: die Anzahl der Scheduler.

Beispiel:

gcloud composer environments update example-environment \
  --location us-central1 \
  --scheduler-cpu 0.5 \
  --scheduler-memory 2.5 \
  --scheduler-storage 2 \
  --scheduler-count 2

API

Erstellen Sie eine API-Anfrage environments.patch.
In dieser Anfrage:
1. Geben Sie im Parameter updateMask die config.workloadsConfig.scheduler-Maske an, um alle Planerparameter oder nur die Anzahl der Planer zu aktualisieren. Sie können auch einzelne Planerparameter mit Ausnahme von count aktualisieren, indem Sie eine Maske angeben. Beispiel: config.workloadsConfig.scheduler.cpu
2. Geben Sie im Anfragetext die neuen Planerparameter an.

"config": {
  "workloadsConfig": {
    "scheduler": {
      "cpu": SCHEDULER_CPU,
      "memoryGb": SCHEDULER_MEMORY,
      "storageGb": SCHEDULER_STORAGE,
      "count": SCHEDULER_COUNT
    }
  }
}

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: Region, in der sich die Umgebung befindet.
SCHEDULER_CPU: die Anzahl der CPUs für einen Planer in vCPU-Einheiten.
SCHEDULER_MEMORY: die Größe des Arbeitsspeichers für einen Planer in GB.
SCHEDULER_STORAGE: die Laufwerksgröße für einen Planer in GB.
SCHEDULER_COUNT: die Anzahl der Planer.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler

"config": {
  "workloadsConfig": {
    "scheduler": {
      "cpu": 0.5,
      "memoryGb": 2.5,
      "storageGb": 2,
      "count": 2
    }
  }
}

Terraform

Mit den folgenden Feldern im Block workloads_config.scheduler wird gesteuert, Airflow-Planerparameter. Jeder Planer verwendet die angegebene Menge an Ressourcen.

scheduler.count: die Anzahl der Scheduler in Ihrer Umgebung.
scheduler.cpu: die Anzahl der CPUs für einen Airflow-Planer.
scheduler.memory_gb: die Größe des Arbeitsspeichers für einen Airflow-Planer.
scheduler.storage_gb: der Speicherplatz für einen Planer.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      scheduler {
        cpu = SCHEDULER_CPU
        memory_gb = SCHEDULER_MEMORY
        storage_gb = SCHEDULER_STORAGE
        count = SCHEDULER_COUNT
      }
    }

  }
}

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: Region, in der sich die Umgebung befindet.
SCHEDULER_CPU: die Anzahl der CPUs für einen Planer in vCPU-Einheiten.
SCHEDULER_MEMORY: die Größe des Arbeitsspeichers für einen Planer in GB.
SCHEDULER_STORAGE: die Laufwerksgröße für einen Planer in GB.
SCHEDULER_COUNT: die Anzahl der Planer.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      scheduler {
        
        cpu = 0.5
        memory_gb = 1.875
        storage_gb = 1
        
        count = 2
      }
    }

  }
}

Triggerparameter anpassen

Sie können die Anzahl der Trigger auf null setzen. Sie benötigen jedoch mindestens eine Triggerinstanz in Ihrer Umgebung (oder mindestens zwei in hochverfügbaren Umgebungen), um zurückstellbare Operatoren in Ihren DAGs zu verwenden.

Je nach Resilienzmodus Ihrer Umgebung gibt es verschiedene Konfigurationen für die Anzahl der Auslöser:

Standardausfallsicherheit: Sie können bis zu 10 Trigger ausführen.
Hohe Ausfallsicherheit: mindestens 2 Trigger, maximal 10.

Selbst wenn die Anzahl der Trigger auf null gesetzt ist, wird erstellt und im Cluster Ihrer Umgebung sichtbar, aber kein tatsächlicher Triggerer ausgeführt werden.

Sie können auch die von Airflow verwendete CPU-, Arbeitsspeicher- und Speicherplatzmenge angeben Trigger in Ihrer Umgebung. So können Sie die Leistung Ihrer Ihrer Umgebung. Zusätzlich zur horizontalen Skalierung, die durch die Verwendung mehrerer Triggerer.

Console

Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

Zur Seite Umgebungen
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Gehen Sie unter Ressourcen > Arbeitslastkonfiguration so vor: Klicken Sie auf Bearbeiten.
Passen Sie im Bereich Workloads-Konfiguration die Parameter für Airflow an. Triggerer:
1. Geben Sie im Abschnitt Trigger im Feld Anzahl der Trigger die Anzahl der Trigger in Ihrer Umgebung ein.
  
  Wenn Sie mindestens einen Trigger für Ihre Umgebung festgelegt haben, verwenden Sie auch die Felder CPU und Arbeitsspeicher, um die Ressourcenzuweisung für Ihre Trigger zu konfigurieren.
2. Geben Sie in den Feldern CPU und Arbeitsspeicher die Anzahl der CPUs, den Arbeitsspeicher und den Speicher für Airflow-Trigger an. Jeder Triggerer verwendet die angegebene Menge an Ressourcen.
Klicken Sie auf Speichern.

gcloud

Die folgenden Airflow-Triggerparameter sind verfügbar:

--triggerer-count: die Anzahl der Trigger in Ihrer Umgebung.
- Verwenden Sie für Umgebungen mit Standardausfallsicherheit einen Wert zwischen 0 und 10.
- Verwenden Sie für besonders resiliente Umgebungen 0 oder einen Wert zwischen 2 und 10.
--triggerer-cpu: die Anzahl der CPUs für einen Airflow-Trigger.
--triggerer-memory: die Größe des Arbeitsspeichers für einen Airflow-Trigger.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --triggerer-count TRIGGERER_COUNT \
  --triggerer-cpu TRIGGERER_CPU \
  --triggerer-memory TRIGGERER_MEMORY

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: Region, in der sich die Umgebung befindet.
TRIGGERER_COUNT: die Anzahl der Auslöser.
TRIGGERER_CPU: die Anzahl der CPUs für einen Trigger in vCPU-Einheiten.
TRIGGERER_MEMORY: die Größe des Arbeitsspeichers für einen Auslöser.

Beispiele:

Skalieren Sie auf vier Triggerinstanzen:

  gcloud composer environments update example-environment \
    --location us-central1 \
    --triggerer-count 4 \
    --triggerer-cpu 1 \
    --triggerer-memory 1
  ```

- Disable triggerers by setting triggerer count to `0`. This operation
  doesn't require specifying CPU or memory for the triggerers.

```bash
  gcloud composer environments update example-environment \
    --location us-central1 \
    --triggerer-count 0
  ```

API

Geben Sie im Abfrageparameter updateMask die config.workloadsConfig.triggerer-Maske an.
Geben Sie im Anfragetext alle drei Parameter für Trigger an.

"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": TRIGGERER_COUNT,
      "cpu": TRIGGERER_CPU,
      "memoryGb": TRIGGERER_MEMORY
    }
  }
}

Ersetzen Sie Folgendes:

TRIGGERER_COUNT: die Anzahl der Auslöser.
- Verwenden Sie für standardmäßige Ausfallsicherheitsumgebungen einen Wert zwischen 0 und 10.
- In Umgebungen mit extrem hoher Ausfallsicherheit 0, oder ein Wert zwischen 2 und 10
TRIGGERER_CPU: die Anzahl der CPUs für einen Auslöser in vCPU-Einheiten.
TRIGGERER_MEMORY: die Größe des Arbeitsspeichers für einen Trigger.

Beispiele:

Deaktivieren Sie Trigger, indem Sie die Triggeranzahl auf 0 setzen. Dieser Vorgang erfordert keine Angabe von CPU oder Speicher für die Trigger.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 0
    }
  }
}

Skalieren Sie auf vier Triggerinstanzen:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 4,
      "cpu": 1,
      "memoryGb": 1
    }
  }
}

Terraform

Mit den folgenden Feldern im Block workloads_config.triggerer wird gesteuert, Airflow-Triggerer-Parameter. Jeder Trigger verwendet die angegebene Menge an Ressourcen.

triggerer.count: die Anzahl der Auslöser in Ihrer Umgebung.
- Verwenden Sie für Umgebungen mit Standardausfallsicherheit einen Wert zwischen 0 und 10.
- In Umgebungen mit extrem hoher Ausfallsicherheit 0, oder ein Wert zwischen 2 und 10
triggerer.cpu: die Anzahl der CPUs für einen Airflow-Trigger.
triggerer.memory_gb: die Größe des Arbeitsspeichers für einen Airflow-Triggerer.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      triggerer {
        count = TRIGGERER_COUNT
        cpu = TRIGGERER_CPU
        memory_gb = TRIGGERER_MEMORY
      }
    }

  }
}

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: Region, in der sich die Umgebung befindet.
TRIGGERER_COUNT: die Anzahl der Auslöser.
TRIGGERER_CPU: die Anzahl der CPUs für einen Trigger in vCPU-Einheiten.
TRIGGERER_MEMORY: die Größe des Arbeitsspeichers für einen Trigger in GB.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      triggerer {
        count = 1
        cpu = 0.5
        memory_gb = 0.5
      }
    }

  }
}

DAG-Prozessorparameter anpassen

Sie können die Anzahl der DAG-Prozessoren in Ihrer Umgebung und die Anzahl der CPUs, den Arbeitsspeicher und den Speicherplatz angeben, die von jedem DAG-Prozessor verwendet werden.

Console

Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

Zur Seite Umgebungen
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Gehen Sie unter Ressourcen > Arbeitslastkonfiguration so vor: Klicken Sie auf Bearbeiten.
Passen Sie im Bereich Arbeitslastkonfiguration die Parameter für Airflow-DAG-Prozessoren an:
- Wählen Sie in der Drop-down-Liste Anzahl der DAG-Prozessoren die Anzahl der DAG-Prozessoren für Ihre Umgebung aus.
- Geben Sie die Anzahl in den Feldern CPU, Arbeitsspeicher und Speicher an. CPUs, Arbeitsspeicher und Speicher für Airflow-DAG-Prozessoren. Jeder DAG-Prozessor verwendet die angegebene Menge an Ressourcen.
Klicken Sie auf Speichern.

gcloud

Die folgenden Airflow-DAG-Prozessorparameter sind verfügbar:

--dag-processor-count: die Anzahl der DAG-Prozessoren.
--dag-processor-cpu: die Anzahl der CPUs für den DAG-Prozessor.
--dag-processor-memory: die Größe des Arbeitsspeichers für den DAG Prozessor.
--dag-processor-storage: der Speicherplatz für den DAG Prozessor.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
    --dag-processor-count DAG_PROCESSOR_COUNT \
    --dag-processor-cpu DAG_PROCESSOR_CPU \
    --dag-processor-memory DAG_PROCESSOR_MEMORY \
    --dag-processor-storage DAG_PROCESSOR_STORAGE

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: die Region, in der sich die Umgebung befindet.
DAG_PROCESSOR_CPU: die Anzahl der CPUs für den DAG-Prozessor.
DAG_PROCESSOR_MEMORY: die Größe des Arbeitsspeichers für den DAG Prozessor.
DAG_PROCESSOR_STORAGE: der Speicherplatz für den DAG Prozessor.

Beispiel:

gcloud composer environments update example-environment \
  --location us-central1 \
  --dag-processor-count 2 \
  --dag-processor-cpu 0.5 \
  --dag-processor-memory 2 \
  --dag-processor-storage 1

API

Erstellen Sie eine API-Anfrage environments.patch.
In dieser Anfrage:
1. Geben Sie im Parameter updateMask an, Die Maske config.workloadsConfig.dagProcessor, um alle DAGs zu aktualisieren Prozessorparameter, einschließlich der Anzahl der DAG-Prozessoren. Sie können auch einzelne DAG-Prozessorparameter aktualisieren, indem Sie eine Maske angeben. Beispiel: config.workloadsConfig.dagProcessor.cpu,config.workloadsConfig.dagProcessor.memoryGb,config.workloadsConfig.dagProcessor.storageGb.
2. Geben Sie im Anfragetext die neuen DAG-Prozessorparameter an.

"config": {
  "workloadsConfig": {
    "dagProcessor": {
      "count": DAG_PROCESSOR_COUNT,
      "cpu": DAG_PROCESSOR_CPU,
      "memoryGb": DAG_PROCESSOR_MEMORY,
      "storageGb": DAG_PROCESSOR_STORAGE
    }
  }
}

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: Region, in der sich die Umgebung befindet.
DAG_PROCESSOR_COUNT: die Anzahl der DAG-Prozessoren.
DAG_PROCESSOR_CPU: Die Anzahl der CPUs für den DAG-Prozessor in vCPU-Einheiten.
DAG_PROCESSOR_MEMORY: die Größe des Arbeitsspeichers für den DAG-Prozessor in GB.
DAG_PROCESSOR_STORAGE: die Größe des Speicherplatzes für den DAG-Prozessor in GB.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.dagProcessor

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": 2
      "cpu": 0.5,
      "memoryGb": 2.5,
      "storageGb": 2
    }
  }
}

Terraform

Mit den folgenden Feldern im Block workloads_config.dag_processor wird gesteuert, Parameter des Airflow-DAG-Prozessors. Jeder DAG-Prozessor verwendet die angegebene die Menge an Ressourcen.

dag_processor.count: die Anzahl der DAG-Prozessoren in Ihrer Umgebung.
dag_processor.cpu: die Anzahl der CPUs für einen DAG-Prozessor.
dag_processor.memory_gb: die Größe des Arbeitsspeichers für einen DAG-Prozessor.
dag_processor.storage_gb ist die Menge an Speicherplatz für einen DAG-Prozessor.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      dag_processor {
        count = DAG_PROCESSOR_COUNT
        cpu = DAG_PROCESSOR_CPU
        memory_gb = DAG_PROCESSOR_MEMORY
        storage_gb = DAG_PROCESSOR_STORAGE
      }
    }

  }
}

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: Region, in der sich die Umgebung befindet.
DAG_PROCESSOR_COUNT: die Anzahl der DAG-Prozessoren.
DAG_PROCESSOR_CPU: Die Anzahl der CPUs für den DAG-Prozessor in vCPU-Einheiten.
DAG_PROCESSOR_MEMORY: die Größe des Arbeitsspeichers für den DAG-Prozessor in GB.
DAG_PROCESSOR_STORAGE: die Größe des Speicherplatzes für den DAG-Prozessor in GB.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      dag_processor {
        count = 2
        cpu = 0.5
        memory_gb = 2
        storage_gb = 1
      }
    }

  }
}

Webserverparameter anpassen

Sie können die Anzahl der CPUs, den Arbeitsspeicher und den Speicherplatz angeben, die vom Airflow-Webserver in Ihrer Umgebung verwendet werden. So können Sie die Leistung der Airflow-Benutzeroberfläche beispielsweise an die Anforderungen einer großen Anzahl von Nutzern oder einer großen Anzahl von verwalteten DAGs anpassen.

Console

Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

Zur Seite Umgebungen
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Klicken Sie unter Ressourcen > Konfiguration der Arbeitslasten auf Bearbeiten.
Passen Sie im Bereich Arbeitslastkonfiguration die Parameter für den Webserver an. Geben Sie in den Feldern CPU, Arbeitsspeicher und Speicher die Anzahl der CPUs, den Arbeitsspeicher und den Speicher für den Webserver an.
Klicken Sie auf Speichern.

gcloud

Die folgenden Parameter des Airflow-Webservers sind verfügbar:

--web-server-cpu: die Anzahl der CPUs für den Airflow-Webserver.
--web-server-memory: die Größe des Arbeitsspeichers für das Airflow-Web Server.
--web-server-storage: die Menge an Speicherplatz für Airflow Webserver.

Führen Sie den folgenden Google Cloud CLI-Befehl aus:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-cpu WEB_SERVER_CPU \
  --web-server-memory WEB_SERVER_MEMORY \
  --web-server-storage WEB_SERVER_STORAGE

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: Region, in der sich die Umgebung befindet.
WEB_SERVER_CPU: die Anzahl der CPUs für den Webserver in vCPU-Einheiten.
WEB_SERVER_MEMORY: die Größe des Arbeitsspeichers für den Webserver.
WEB_SERVER_STORAGE: die Größe des Arbeitsspeichers für den Webserver.

Beispiel:

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-cpu 1 \
  --web-server-memory 2.5 \
  --web-server-storage 2

API

Erstellen Sie eine API-Anfrage environments.patch.
In dieser Anfrage:
1. Geben Sie im updateMask-Parameter die config.workloadsConfig.webServer-Maske an, um alle Webserverparameter zu aktualisieren. Sie können auch einzelne Webserverparameter aktualisieren, indem Sie für diese Parameter eine Maske angeben: config.workloadsConfig.webServer.cpu, config.workloadsConfig.webServer.memoryGb, config.workloadsConfig.webServer.storageGb.
2. Geben Sie im Anfragetext die neuen Webserverparameter an.

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": WEB_SERVER_CPU,
      "memoryGb": WEB_SERVER_MEMORY,
      "storageGb": WEB_SERVER_STORAGE
    }
  }
}

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: Region, in der sich die Umgebung befindet.
WEB_SERVER_CPU: die Anzahl der CPUs für den Webserver in vCPU-Einheiten.
WEB_SERVER_MEMORY: die Größe des Arbeitsspeichers für den Webserver in GB.
WEB_SERVER_STORAGE: die Laufwerksgröße für den Webserver in GB.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.webServer.cpu,
// config.workloadsConfig.webServer.memoryGb,
// config.workloadsConfig.webServer.storageGb

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": 0.5,
      "memoryGb": 2.5,
      "storageGb": 2
    }
  }
}

Terraform

Mit den folgenden Feldern im Block workloads_config.web_server wird gesteuert, Webserverparameter.

web_server.cpu: Die Anzahl der CPUs für den Webserver.
web_server.memory_gb: die Größe des Arbeitsspeichers für den Webserver.
web_server.storage_gb: Der Speicherplatz für den Webserver.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      web_server {
        cpu = WEB_SERVER_CPU
        memory_gb = WEB_SERVER_MEMORY
        storage_gb = WEB_SERVER_STORAGE
      }
    }

  }
}

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: Region, in der sich die Umgebung befindet.
WEB_SERVER_CPU: die Anzahl der CPUs für den Webserver in vCPU-Einheiten.
WEB_SERVER_MEMORY: die Größe des Arbeitsspeichers für den Webserver in GB.
WEB_SERVER_STORAGE: die Laufwerksgröße für den Webserver in GB.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      web_server {
        cpu = 0.5
        memory_gb = 1.875
        storage_gb = 1
      }
    }

  }
}

Größe der Umgebung anpassen

Mit der Umgebungsgröße steuern Sie die Leistungsparameter der verwalteten Cloud Composer-Infrastruktur, die z. B. die Airflow-Datenbank

Wenn Sie eine große Anzahl von DAGs und Aufgaben ausführen möchten, sollten Sie für die Umgebungsgröße einen größeren Wert auswählen.

Console

Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

Zur Seite Umgebungen
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Gehen Sie unter Ressourcen > Arbeitslastkonfiguration so vor: Klicken Sie auf Bearbeiten.
Klicken Sie unter Ressourcen > Kerninfrastruktur auf Bearbeiten.
Geben Sie im Bereich Kerninfrastruktur im Feld Umgebungsgröße die Umgebungsgröße an.
Klicken Sie auf Speichern.

gcloud

Das --environment-size-Argument steuert die Umgebungsgröße:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --environment-size ENVIRONMENT_SIZE

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: Region, in der sich die Umgebung befindet.
ENVIRONMENT_SIZE: small, medium oder large.

Beispiel:

gcloud composer environments update example-environment \
    --location us-central1 \
    --environment-size medium

API

Erstellen Sie eine environments.patch-API-Anfrage.
In dieser Anfrage:
1. Geben Sie im updateMask-Parameter die config.environmentSize-Maske an.
2. Geben Sie im Anfragetext die Umgebungsgröße an.

  "config": {
    "environmentSize": "ENVIRONMENT_SIZE"
  }

Ersetzen Sie Folgendes:

ENVIRONMENT_SIZE: die Umgebungsgröße, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM oder ENVIRONMENT_SIZE_LARGE.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.environmentSize

"config": {
  "environmentSize": "ENVIRONMENT_SIZE_MEDIUM"
}

Terraform

Das Feld environment_size im Block config steuert die Umgebungsgröße:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    environment_size = "ENVIRONMENT_SIZE"

  }
}

Ersetzen Sie Folgendes:

ENVIRONMENT_NAME: der Name der Umgebung.
LOCATION: die Region, in der sich die Umgebung befindet.
ENVIRONMENT_SIZE: die Umgebungsgröße, ENVIRONMENT_SIZE_SMALL ENVIRONMENT_SIZE_MEDIUM oder ENVIRONMENT_SIZE_LARGE.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    environment_size = "ENVIRONMENT_SIZE_SMALL"

    }
  }
}

Umgebungen skalieren

Vertikal und horizontal skalieren

Ressourcenlimits

Worker-Parameter anpassen

Console

gcloud

API

Terraform

Planerparameter anpassen

Console

gcloud

API

Terraform

Triggerparameter anpassen

Console

gcloud

API

Terraform

DAG-Prozessorparameter anpassen

Console

gcloud

API

Terraform

Webserverparameter anpassen

Console

gcloud

API

Terraform

Größe der Umgebung anpassen

Console

gcloud

API

Terraform

Nächste Schritte