Remplacer les configurations Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Suivez les instructions de cette page pour remplacer les options de configuration Airflow pour les environnements nouveaux et existants.

Lorsque vous créez ou mettez à jour un environnement, vous pouvez : ignorer Options de configuration Apache Airflow avec des valeurs différentes. Vous pouvez ainsi ajuster l'instance Airflow en fonction de vos besoins et exigences.

Remplacer les options de configuration Airflow pour les nouveaux environnements

Vous pouvez remplacer les options de configuration Airflow lorsque vous créez votre environnement. Pour en savoir plus, consultez Créer des environnements

Remplacer les options de configuration Airflow pour les environnements existants

Console

Pour remplacer les options de configuration Airflow pour un environnement existant, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page des détails de l'environnement s'ouvre.

  3. Accédez à l'onglet Remplacements de configuration Airflow.

  4. Cliquez sur Modifier.

  5. Renseignez les champs Section (Section), Key (Clé) et Value (Valeur) pour le projet Airflow. que vous souhaitez modifier.

Exemple :

Section Clé Valeur
webserver dag_orientation RL

gcloud

Les arguments suivants remplacent les options de configuration Airflow pour un environnement:

  • --update-airflow-configs ajoute ou modifie la configuration Airflow spécifiée et les forçages.
  • --remove-airflow-configs supprime la configuration Airflow spécifiée. et les forçages.
  • --clear-airflow-configs supprime tous les remplacements de configuration Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Remplacez :

  • ENVIRONMENT_NAME par le nom de l'environnement.
  • LOCATION par la région où se trouve l'environnement.
  • KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).
  • VALUE par la valeur correspondante pour une option.

Exemple :

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Pour remplacer les propriétés Airflow d'un environnement existant :

  1. Rédigez une requête API environments.patch.

  2. Dans cette requête :

    • Pour remplacer tous les remplacements de configuration Airflow existants par les options spécifiées, spécifiez le masque config.softwareConfig.airflowConfigOverrides dans le paramètre updateMask.

    • Pour remplacer une option de configuration Airflow spécifique, dans le paramètre updateMask, spécifiez le config.softwareConfig.airflowConfigOverrides.KEY masque. Remplacez KEY par la section de configuration et l'option nom séparé par un trait d'union, par exemple, webserver-dag_orientation.

      Si vous souhaitez remplacer plusieurs options de configuration Airflow, dans le paramètre updateMask, spécifiez plusieurs masques séparés par une virgule.

  3. Le corps de la requête doit contenir la liste des options de configuration Airflow. Si vous remplacez tous les forçages existants, veillez à inclure tous les forçages que vous souhaitez conserver.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Remplacez :

  • KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).
  • VALUE par la valeur correspondante pour une option.

L'exemple suivant remplace deux options de configuration Airflow spécifiques :

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

Bloc airflow_config_overrides dans le bloc software_config contrôle les remplacements de configuration Airflow pour votre environnement:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Remplacez :

  • KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).
  • VALUE par la valeur correspondante pour une option.

Exemple :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

Étape suivante