Airflow-Konfiguration überschreiben

Folgen Sie der Anleitung auf dieser Seite, um die Airflow-Konfigurationsoptionen für neue und vorhandene Umgebungen zu überschreiben.

Wenn Sie eine Umgebung erstellen oder aktualisieren, können Sie die Apache Airflow-Konfigurationsoptionen mit anderen Werte. So können Sie die Airflow-Instanz an Ihre Anforderungen und Anforderungen anpassen.

Konfigurationen für neue Umgebungen überschreiben

Console

  1. Öffnen Sie die Seite Umgebung erstellen.

    Seite "Umgebung erstellen" öffnen

  2. Klicken Sie unter Airflow-Konfigurationsüberschreibungen auf Airflow-Konfigurationsüberschreibung hinzufügen.

  3. Geben Sie den Abschnitt, den Schlüssel und den neuen Wert für die Konfiguration ein.

Beispiel:

Bereich Schlüssel Wert
webserver dag_orientation RL

gcloud

So überschreiben Sie beim Erstellen einer Umgebung die Airflow-Konfigurationsoptionen:

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --airflow-configs=KEY=VALUE,KEY=VALUE,...

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.
  • LOCATION durch die Compute Engine-Region, in der sich die Umgebung befindet.
  • KEY durch den Konfigurationsabschnitt und den Optionsnamen durch einen Bindestrich, z. B. core-print_stats_interval.
  • VALUE durch den entsprechenden Wert für eine Option.

Beispiel:

gcloud composer environments create test-environment \
    --location us-central1 \
    --airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

Der Befehl wird beendet, wenn der Vorgang abgeschlossen ist. Verwenden Sie das Flag --async, um Wartezeiten zu vermeiden. Weitere Beispiele finden Sie auf der Referenzseite für gcloud composer environments create.

API

So überschreiben Sie Airflow-Attribute während der Erstellung der Cloud Composer-Umgebung mit der Cloud Composer REST API:

  1. Erstellen Sie die Anfrage environments.create.
  2. Füllen Sie in dieser Anfrage das optionale Feld airflowConfigOverrides der Ressource Environment aus.

Konfigurationen für vorhandene Umgebungen überschreiben

Console

  1. Öffnen Sie die Seite Umgebungen.

    Seite „Umgebungen“ öffnen

  2. Klicken Sie in der Liste der Umgebungen auf die Umgebung. Die Seite Umgebungsdetails wird geöffnet.
  3. Rufen Sie den Tab Überschreibungen von Airflow-Konfigurationen auf.
  4. Klicken Sie auf Bearbeiten.
  5. Geben Sie den Abschnitt, den Schlüssel und den neuen Wert für die Konfiguration ein.

Beispiel:

Bereich Schlüssel Wert
webserver dag_orientation RL

gcloud

So überschreiben Sie die Airflow-Konfigurationsoptionen für eine vorhandene Umgebung:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.
  • LOCATION durch die Compute Engine-Region, in der sich die Umgebung befindet.
  • KEY durch den Konfigurationsabschnitt und den Optionsnamen durch einen Bindestrich, z. B. core-print_stats_interval.
  • VALUE durch den entsprechenden Wert für eine Option.

Beispiel:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_examples=True,webserver-dag_orientation=TB 

Der Befehl wird beendet, wenn der Vorgang abgeschlossen ist. Verwenden Sie das Flag --async, um Wartezeiten zu vermeiden. Weitere Beispiele finden Sie auf der Referenzseite für gcloud composer environments update.

API

So überschreiben Sie Airflow-Attribute für eine vorhandene Cloud Composer-Umgebung mit der Cloud Composer REST API:

  1. Erstellen Sie die Anfrage environments.patch.
  2. In dieser Anfrage:

    • Wenn Sie alle vorhandenen Überschreibungen von Airflow-Konfigurationen durch die angegebenen Optionen ersetzen möchten, geben Sie im Parameter updateMask die Maske config.softwareConfig.airflowConfigOverrides an.
    • Wenn Sie bestimmte Airflow-Konfigurationsoptionen überschreiben möchten, geben Sie im Parameter updateMask die Maske config.softwareConfig.airflowConfigOverrides. section-name an.

Nächste Schritte