Airflow-Konfigurationen überschreiben

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Folgen Sie der Anleitung auf dieser Seite, um die Airflow-Konfigurationsoptionen zu überschreiben für neue und bestehende Umgebungen.

Wenn Sie eine Umgebung erstellen oder aktualisieren, haben Sie folgende Möglichkeiten: überschreiben Apache Airflow-Konfigurationsoptionen mit unterschiedlichen Werten. So können Sie die Airflow-Instanz an Ihre Anforderungen und Anforderungen anpassen.

Airflow-Konfigurationsoptionen für neue Umgebungen überschreiben

Sie können die Airflow-Konfigurationsoptionen überschreiben, wenn Sie Ihre zu verbessern. Weitere Informationen finden Sie unter Umgebungen erstellen

Airflow-Konfigurationsoptionen für vorhandene Umgebungen überschreiben

Console

So überschreiben Sie die Airflow-Konfigurationsoptionen für eine vorhandene Umgebung:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Airflow-Konfigurationsüberschreibungen auf.

  4. Klicken Sie auf Bearbeiten.

  5. Geben Sie den Abschnitt, den Schlüssel und den Wert für den Airflow ein. Konfigurationsoption, die Sie ändern möchten.

Beispiel:

Bereich Schlüssel Wert
webserver dag_orientation RL

gcloud

Folgende Argumente überschreiben die Airflow-Konfigurationsoptionen für eine vorhandene Umgebung:

  • --update-airflow-configs fügt die angegebene Airflow-Konfiguration hinzu oder ändert sie Überschreibungen.
  • --remove-airflow-configs entfernt die angegebene Airflow-Konfiguration Überschreibungen.
  • --clear-airflow-configs entfernt alle Airflow-Konfigurationsüberschreibungen.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.
  • LOCATION durch die Region, in der sich die Umgebung befindet.
  • KEY durch den Konfigurationsabschnitt und den Optionsnamen durch Bindestrich getrennt, z. B. webserver-dag_orientation.
  • VALUE durch den entsprechenden Wert für eine Option.

Beispiel:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

So überschreiben Sie Airflow-Attribute für eine vorhandene Umgebung:

  1. Erstellen Sie eine API-Anfrage environments.patch.

  2. In dieser Anfrage:

    • Wenn Sie alle vorhandenen Airflow-Konfigurationsüberschreibungen durch die angegebenen Optionen ersetzen möchten, geben Sie im Parameter updateMask die Maske config.softwareConfig.airflowConfigOverrides an.

    • Um eine bestimmte Airflow-Konfigurationsoption zu überschreiben, den Parameter updateMask, geben Sie die config.softwareConfig.airflowConfigOverrides.KEY Maske. Ersetzen Sie KEY durch den Konfigurationsabschnitt und die Option Namen getrennt durch einen Bindestrich, z. B. webserver-dag_orientation.

      Wenn Sie mehrere Airflow-Konfigurationsoptionen überschreiben möchten, den Parameter updateMask mehrere Masken durch Kommas getrennt angeben.

  3. Der Anfragetext muss die Liste der Airflow-Konfigurationsoptionen enthalten. Wenn Sie alle vorhandenen Überschreibungen ersetzen, achten Sie darauf, alle die Sie beibehalten möchten.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Ersetzen Sie:

  • KEY durch den Konfigurationsabschnitt und den Optionsnamen durch Bindestrich getrennt, z. B. webserver-dag_orientation.
  • VALUE durch den entsprechenden Wert für eine Option.

Im folgenden Beispiel werden zwei spezifische Airflow-Konfigurationsoptionen überschrieben:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

Der Block airflow_config_overrides im Block software_config steuert die Airflow-Konfigurationsüberschreibungen für Ihre Umgebung:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Ersetzen Sie:

  • KEY durch den Konfigurationsabschnitt und den Optionsnamen durch Bindestrich getrennt, z. B. webserver-dag_orientation.
  • VALUE durch den entsprechenden Wert für eine Option.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

Nächste Schritte