Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Segui le istruzioni in questa pagina per eseguire l'override delle opzioni di configurazione di Airflow per gli ambienti nuovi ed esistenti.
Quando crei o aggiorni un ambiente, puoi eseguire l'override delle opzioni di configurazione di Apache Airflow con valori diversi. In questo modo puoi regolare l'istanza Airflow in base alle tue esigenze e ai tuoi requisiti.
Esegui l'override delle opzioni di configurazione di Airflow per i nuovi ambienti
Puoi eseguire l'override delle opzioni di configurazione di Airflow quando crei il tuo ambiente. Per maggiori informazioni, consulta Creare ambienti.
Esegui l'override delle opzioni di configurazione di Airflow per gli ambienti esistenti
Console
Per eseguire l'override delle opzioni di configurazione di Airflow per un ambiente esistente:
Nella console Google Cloud, vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina dei dettagli dell'ambiente.
Vai alla scheda Override della configurazione di Airflow.
Fai clic su Modifica.
Inserisci la Sezione, la Chiave e il Valore per l'opzione di configurazione di Airflow che vuoi modificare.
Ad esempio:
Sezione | Chiave | Valore |
---|---|---|
webserver |
dag_orientation |
RL |
gcloud
I seguenti argomenti eseguono l'override delle opzioni di configurazione di Airflow per un ambiente esistente:
--update-airflow-configs
aggiunge o modifica gli override della configurazione di Airflow specificati.--remove-airflow-configs
rimuove gli override della configurazione Airflow specificati.--clear-airflow-configs
rimuove tutti gli override della configurazione Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--update-airflow-configs=KEY=VALUE,KEY=VALUE,...
Sostituisci:
ENVIRONMENT_NAME
con il nome dell'ambiente.LOCATION
con la regione in cui si trova l'ambiente.KEY
con la sezione di configurazione e il nome dell'opzione separati da un trattino, ad esempiowebserver-dag_orientation
.VALUE
con il valore corrispondente di un'opzione.
Ad esempio:
gcloud composer environments update example-environment \
--location us-central1 \
--update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL
API
Per eseguire l'override delle proprietà Airflow per un ambiente esistente:
Creare una richiesta API
environments.patch
.In questa richiesta:
Per sostituire tutti gli override della configurazione Airflow esistenti con le opzioni specificate, specifica la maschera
config.softwareConfig.airflowConfigOverrides
nel parametroupdateMask
.Per eseguire l'override di un'opzione di configurazione Airflow specifica, nel parametro
updateMask
specifica la mascheraconfig.softwareConfig.airflowConfigOverrides.KEY
. SostituisciKEY
con la sezione di configurazione e il nome dell'opzione separati da un trattino, ad esempiowebserver-dag_orientation
.Se vuoi eseguire l'override di diverse opzioni di configurazione di Airflow, nel parametro
updateMask
specifica diverse maschere separate da virgole.
Il corpo della richiesta deve contenere l'elenco delle opzioni di configurazione di Airflow. Se stai sostituendo tutti gli override esistenti, assicurati di includere tutti gli override che vuoi mantenere.
{
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"KEY": "VALUE"
}
}
}
}
Sostituisci:
KEY
con la sezione di configurazione e il nome dell'opzione separati da un trattino, ad esempiowebserver-dag_orientation
.VALUE
con il valore corrispondente di un'opzione.
L'esempio seguente esegue l'override di due opzioni di configurazione specifiche di Airflow:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation
{
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"webserver-dag_default_view": "graph",
"webserver-dag_orientation": "RL"
}
}
}
}
Terraform
Il blocco airflow_config_overrides
nel blocco software_config
controlla l'override della configurazione di Airflow per il tuo ambiente:
resource "google_composer_environment" "example" {
config {
# ... Other environment configuration parameters
software_config {
airflow_config_overrides = {
KEY = "VALUE"
}
}
}
}
Sostituisci:
KEY
con la sezione di configurazione e il nome dell'opzione separati da un trattino, ad esempiowebserver-dag_orientation
.VALUE
con il valore corrispondente di un'opzione.
Esempio:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
# ... Other environment configuration parameters
config {
software_config {
airflow_config_overrides = {
webserver-dag_default_view = "graph"
webserver-dag_orientation = "RL"
}
}
}
}