Override delle configurazioni Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Segui le istruzioni in questa pagina per eseguire l'override delle opzioni di configurazione di Airflow per ambienti nuovi ed esistenti.

Quando crei o aggiorni un ambiente, puoi: eseguire l'override Opzioni di configurazione di Apache Airflow con valori diversi. In questo modo puoi regolare l'istanza Airflow in base esigenze e requisiti.

Esegui l'override delle opzioni di configurazione di Airflow per i nuovi ambienti

Puoi eseguire l'override delle opzioni di configurazione di Airflow quando crei completamente gestito di Google Cloud. Per ulteriori informazioni, vedi Crea ambienti.

Esegui l'override delle opzioni di configurazione di Airflow per gli ambienti esistenti

Console

Per eseguire l'override delle opzioni di configurazione di Airflow per un ambiente esistente:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina dei dettagli dell'ambiente.

  3. Vai alla scheda Override della configurazione di Airflow.

  4. Fai clic su Modifica.

  5. Inserisci la Sezione, la Chiave e il Valore per Airflow di configurazione che vuoi modificare.

Ad esempio:

Sezione Chiave Valore
webserver dag_orientation RL

gcloud

I seguenti argomenti eseguono l'override delle opzioni di configurazione di Airflow per un modello esistente questo ambiente:

  • --update-airflow-configs aggiunge o modifica la configurazione Airflow specificata overrides.
  • --remove-airflow-configs rimuove la configurazione Airflow specificata overrides.
  • --clear-airflow-configs rimuove tutti gli override della configurazione Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Sostituisci:

  • ENVIRONMENT_NAME con il nome dell'ambiente.
  • LOCATION con la regione in cui si trova l'ambiente.
  • KEY con la sezione di configurazione e il nome dell'opzione separate da un trattino, ad esempio webserver-dag_orientation.
  • VALUE con il valore corrispondente di un'opzione.

Ad esempio:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Per eseguire l'override delle proprietà Airflow per un ambiente esistente:

  1. Creare una richiesta API environments.patch.

  2. In questa richiesta:

    • Per sostituire tutti gli override della configurazione Airflow esistenti con le opzioni specificate, nel parametro updateMask, specifica la maschera config.softwareConfig.airflowConfigOverrides.

    • Per eseguire l'override di un'opzione di configurazione Airflow specifica, in il parametro updateMask, specifica config.softwareConfig.airflowConfigOverrides.KEY mascherato. Sostituisci KEY con la sezione di configurazione e l'opzione separato da un trattino, ad esempio webserver-dag_orientation.

      Se vuoi eseguire l'override di diverse opzioni di configurazione di Airflow, in Il parametro updateMask, specifica diverse maschere separate da virgole.

  3. Il corpo della richiesta deve contenere l'elenco delle opzioni di configurazione di Airflow. Se sostituisci tutte le sostituzioni esistenti, assicurati di includere tutte gli override che vuoi conservare.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Sostituisci:

  • KEY con la sezione di configurazione e il nome dell'opzione separate da un trattino, ad esempio webserver-dag_orientation.
  • VALUE con il valore corrispondente di un'opzione.

L'esempio seguente esegue l'override di due opzioni di configurazione specifiche di Airflow:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

Il blocco airflow_config_overrides nel blocco software_config controlla gli override della configurazione di Airflow per il tuo ambiente:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Sostituisci:

  • KEY con la sezione di configurazione e il nome dell'opzione separate da un trattino, ad esempio webserver-dag_orientation.
  • VALUE con il valore corrispondente di un'opzione.

Esempio:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

Passaggi successivi