Remplacer les options de configuration Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Suivez les instructions de cette page pour remplacer les options de configuration Airflow pour les environnements nouveaux et existants.

Lorsque vous créez ou mettez à jour un environnement, vous pouvez remplacer les options de configuration d'Apache Airflow par d'autres valeurs. Vous pouvez ainsi ajuster l'instance Airflow en fonction de vos besoins et exigences.

Remplacer les options de configuration Airflow pour de nouveaux environnements

Vous pouvez remplacer les options de configuration Airflow lorsque vous créez votre environnement. Pour en savoir plus, consultez la page Créer des environnements.

Remplacer les options de configuration Airflow pour les environnements existants

Console

Pour remplacer les options de configuration Airflow pour un environnement existant, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page des détails de l'environnement s'ouvre.

  3. Accédez à l'onglet Remplacements de configuration Airflow.

  4. Cliquez sur Modifier.

  5. Renseignez les champs Section (Section), Key (Clé) et Value (Valeur) pour le projet Airflow. que vous souhaitez modifier.

Exemple :

Section Clé Valeur
webserver dag_orientation RL

gcloud

Les arguments suivants remplacent les options de configuration Airflow pour un environnement existant :

  • --update-airflow-configs ajoute ou modifie les remplacements de configuration Airflow spécifiés.
  • --remove-airflow-configs supprime les remplacements de configuration Airflow spécifiés.
  • --clear-airflow-configs supprime tous les remplacements de configuration Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Remplacez :

  • ENVIRONMENT_NAME par le nom de l'environnement.
  • LOCATION par la région où se trouve l'environnement.
  • KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).
  • VALUE par la valeur correspondante pour une option.

Exemple :

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Pour remplacer les propriétés Airflow pour un environnement existant:

  1. Rédigez une requête API environments.patch.

  2. Dans cette requête :

    • Pour remplacer tous les remplacements de configuration Airflow existants par les options spécifiées, spécifiez le masque config.softwareConfig.airflowConfigOverrides dans le paramètre updateMask.

    • Pour remplacer une option de configuration Airflow spécifique, spécifiez le masque config.softwareConfig.airflowConfigOverrides.KEY dans le paramètre updateMask. Remplacez KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).

      Si vous souhaitez remplacer plusieurs options de configuration Airflow, dans le paramètre updateMask, spécifiez plusieurs masques séparés par une virgule.

  3. Le corps de la requête doit contenir la liste des options de configuration Airflow. Si vous remplacez tous les forçages existants, veillez à inclure tous les forçages que vous souhaitez conserver.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Remplacez :

  • KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).
  • VALUE par la valeur correspondante pour une option.

L'exemple suivant remplace deux options de configuration Airflow spécifiques :

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

Bloc airflow_config_overrides dans le bloc software_config contrôle les remplacements de configuration Airflow pour votre environnement:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Remplacez :

  • KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).
  • VALUE par la valeur correspondante pour une option.

Exemple :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

Étape suivante