Esegui l'override delle opzioni di configurazione di Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina descrive come eseguire l'override delle opzioni di configurazione di Airflow per gli ambienti Cloud Composer nuovi ed esistenti.

Quando crei o aggiorni un ambiente, puoi sovrascrivere le opzioni di configurazione di Apache Airflow con valori diversi. In questo modo puoi regolare l'istanza Airflow in base alle tue esigenze e ai tuoi requisiti.

Esegui l'override delle opzioni di configurazione di Airflow per i nuovi ambienti

Puoi eseguire l'override delle opzioni di configurazione di Airflow quando crei il tuo ambiente. Per ulteriori informazioni, consulta Creare ambienti.

Esegui l'override delle opzioni di configurazione di Airflow per gli ambienti esistenti

Console

Per eseguire l'override delle opzioni di configurazione di Airflow per un ambiente esistente:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Viene visualizzata la pagina dei dettagli dell'ambiente.

  3. Vai alla scheda Override della configurazione Airflow.

  4. Fai clic su Modifica.

  5. Inserisci Sezione, Chiave e Valore per l'opzione di configurazione di Airflow che vuoi modificare.

Ad esempio:

Sezione Chiave Valore
webserver dag_orientation RL

gcloud

I seguenti argomenti sostituiscono le opzioni di configurazione di Airflow per un ambiente esistente:

  • --update-airflow-configs aggiunge o modifica le sostituzioni della configurazione di Airflow specificate.
  • --remove-airflow-configs rimuove le override della configurazione di Airflow specificate.
  • --clear-airflow-configs rimuove tutti gli override della configurazione di Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Sostituisci:

  • ENVIRONMENT_NAME con il nome dell'ambiente.
  • LOCATION con la regione in cui si trova l'ambiente.
  • KEY con la sezione di configurazione e il nome dell'opzione separati da un trattino, ad esempio webserver-dag_orientation.
  • VALUE con il valore corrispondente per un'opzione.

Ad esempio:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Per eseguire l'override delle proprietà di Airflow per un ambiente esistente:

  1. Crea una richiesta API environments.patch.

  2. In questa richiesta:

    • Per sostituire tutte le sostituzioni di configurazione di Airflow esistenti con le opzioni specificate, specifica la maschera config.softwareConfig.airflowConfigOverrides nel parametro updateMask.

    • Per eseguire l'override di un'opzione di configurazione di Airflow specifica, nel parametro updateMask specifica la maschera config.softwareConfig.airflowConfigOverrides.KEY. Sostituisci KEY con la sezione di configurazione e il nome dell'opzione separati da un trattino, ad esempio webserver-dag_orientation.

      Se vuoi eseguire l'override di più opzioni di configurazione di Airflow, nel parametro updateMask specifica più maschere separate da virgole.

  3. Il corpo della richiesta deve contenere l'elenco delle opzioni di configurazione di Airflow. Se sostituisci tutte le sostituzioni esistenti, assicurati di includere tutte quelle che vuoi conservare.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Sostituisci:

  • KEY con la sezione di configurazione e il nome dell'opzione separati da un trattino, ad esempio webserver-dag_orientation.
  • VALUE con il valore corrispondente per un'opzione.

L'esempio seguente sostituisce due opzioni di configurazione di Airflow specifiche:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

Il blocco airflow_config_overrides nel blocco software_config controlla le sostituzioni della configurazione di Airflow per il tuo ambiente:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Sostituisci:

  • KEY con la sezione di configurazione e il nome dell'opzione separati da un trattino, ad esempio webserver-dag_orientation.
  • VALUE con il valore corrispondente per un'opzione.

Esempio:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

Passaggi successivi