Remplacer les options de configuration Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Cette page explique comment remplacer les options de configuration Airflow pour les environnements Cloud Composer nouveaux et existants.

Lorsque vous créez ou mettez à jour un environnement, vous pouvez remplacer les options de configuration d'Apache Airflow par d'autres valeurs. Vous pouvez ainsi ajuster l'instance Airflow en fonction de vos besoins et exigences.

Remplacer les options de configuration Airflow pour de nouveaux environnements

Vous pouvez remplacer les options de configuration Airflow lorsque vous créez votre environnement. Pour en savoir plus, consultez la page Créer des environnements.

Remplacer les options de configuration Airflow pour les environnements existants

Console

Pour remplacer les options de configuration Airflow pour un environnement existant, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page des détails de l'environnement s'ouvre.

  3. Accédez à l'onglet Remplacements de configuration Airflow.

  4. Cliquez sur Modifier.

  5. Renseignez les champs Section, Clé et Valeur de l'option de configuration Airflow que vous souhaitez modifier.

Exemple :

Section Clé Valeur
webserver dag_orientation RL

gcloud

Les arguments suivants remplacent les options de configuration Airflow pour un environnement existant:

  • --update-airflow-configs ajoute ou modifie les remplacements de configuration Airflow spécifiés.
  • --remove-airflow-configs supprime les remplacements de configuration Airflow spécifiés.
  • --clear-airflow-configs supprime tous les remplacements de configuration Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Remplacez :

  • ENVIRONMENT_NAME par le nom de l'environnement.
  • LOCATION par la région où se trouve l'environnement.
  • KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).
  • VALUE par la valeur correspondante pour une option.

Exemple :

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Pour remplacer les propriétés Airflow d'un environnement existant:

  1. Rédigez une requête API environments.patch.

  2. Dans cette requête :

    • Pour remplacer tous les remplacements de configuration Airflow existants par les options spécifiées, spécifiez le masque config.softwareConfig.airflowConfigOverrides dans le paramètre updateMask.

    • Pour remplacer une option de configuration Airflow spécifique, spécifiez le masque config.softwareConfig.airflowConfigOverrides.KEY dans le paramètre updateMask. Remplacez KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).

      Si vous souhaitez remplacer plusieurs options de configuration Airflow, spécifiez plusieurs masques séparés par des virgules dans le paramètre updateMask.

  3. Le corps de la requête doit contenir la liste des options de configuration Airflow. Si vous remplacez tous les forçages existants, veillez à inclure tous les forçages que vous souhaitez conserver.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Remplacez :

  • KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).
  • VALUE par la valeur correspondante pour une option.

L'exemple suivant remplace deux options de configuration Airflow spécifiques:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

Le bloc airflow_config_overrides du bloc software_config contrôle les remplacements de configuration Airflow pour votre environnement:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Remplacez :

  • KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).
  • VALUE par la valeur correspondante pour une option.

Exemple :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

Étape suivante