Remplacer les options de configuration Airflow

Cloud Composer 1 | Cloud Composer 2

Suivez les instructions de cette page pour remplacer les options de configuration Airflow pour les environnements nouveaux et existants.

Lorsque vous créez ou mettez à jour un environnement, vous pouvez remplacer les options de configuration Apache Airflow par différentes valeurs. Vous pouvez ainsi ajuster l'instance Airflow en fonction de vos besoins et exigences.

Ignorer les options de configuration Airflow pour les nouveaux environnements

Vous pouvez remplacer les options de configuration Airflow lorsque vous créez votre environnement. Pour en savoir plus, consultez la section Créer des environnements.

Remplacer les options de configuration Airflow pour les environnements existants

Console

Pour remplacer les options de configuration Airflow pour un environnement existant, procédez comme suit :

  1. Dans Google Cloud Console, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page des détails de l'environnement s'ouvre.

  3. Accédez à l'onglet Remplacements de configuration Airflow.

  4. Cliquez sur Modifier.

  5. Indiquez la section, la clé et la valeur de l'option de configuration Airflow que vous souhaitez modifier.

Exemple :

Section Clé Valeur
webserver dag_orientation RL

gcloud

Les arguments suivants remplacent les options de configuration Airflow pour un environnement existant:

  • --update-airflow-configs ajoute ou modifie des remplacements de configuration Airflow spécifiés.
  • --remove-airflow-configs supprime les remplacements de configuration Airflow spécifiés.
  • --clear-airflow-configs supprime tous les remplacements de configuration Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Remplacez :

  • ENVIRONMENT_NAME par le nom de l'environnement.
  • LOCATION par la région où se trouve l'environnement.
  • KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).
  • VALUE par la valeur correspondante pour une option.

Exemple :

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Pour remplacer les propriétés Airflow pour un environnement existant, procédez comme suit:

  1. Rédigez une requête API environments.patch.

  2. Dans cette requête :

    • Pour remplacer tous les remplacements de configuration Airflow existants par les options spécifiées, spécifiez le masque config.softwareConfig.airflowConfigOverrides dans le paramètre updateMask.

    • Pour ignorer une option de configuration Airflow spécifique, spécifiez le masque config.softwareConfig.airflowConfigOverrides.KEY dans le paramètre updateMask. Remplacez KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).

      Si vous souhaitez ignorer plusieurs options de configuration Airflow, spécifiez plusieurs masques séparés par une virgule dans le paramètre updateMask.

  3. Le corps de la requête doit contenir la liste des options de configuration Airflow. Si vous remplacez tous les remplacements existants, veillez à inclure tous les remplacements que vous souhaitez conserver.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Remplacez :

  • KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).
  • VALUE par la valeur correspondante pour une option.

L'exemple suivant remplace deux options de configuration Airflow spécifiques:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

Le bloc airflow_config_overrides du bloc software_config contrôle les remplacements de configuration Airflow pour votre environnement:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Remplacez :

  • KEY par la section de configuration et le nom de l'option séparés par un trait d'union (par exemple, webserver-dag_orientation).
  • VALUE par la valeur correspondante pour une option.

Exemple :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

Étapes suivantes